从全球领先的企业下载我们的43 A / B测试案例研究的免费电子书测试的想法和灵感。 现在就下载

澳门赌场

Tips & Tricks for Building Your Experimentation Program

X

下载我们的免费测试工具包,用于A / B测试的想法,规划工作表,演示模板,和更多!

现在得到它




我们经常听到的是产品开发团队没有一个实验积压或他们的斗争拿出实验的想法。几乎可以肯定,虽然,你有一个产品路线图。问题的解决方案,对这个列表包含一定会帮助你打败竞争对手的特征。

也许会。不管你有多少数据分析,用户反馈和竞争力的研究进行,总有你弄错了一个机会。而犯错有两种形式:

  1. 建设 错误 产品和
  2. 构建产品 错误.

为了避免这些成果在optimizely,我们用一个实验驱动的产品开发周期。为了说明这个旅程,让我们走过发起和推动了推出我们的机器学习功能之一的实验过程 - 统计加速器.

简单地说,统计加速器使用机器学习算法来自动调节整个变化A / B测试的流量分配,以帮助测试在较短的时间达到统计学意义。这可以帮助用户做出正确的商业决策速度更快。

减少时间统计显着性是一个复杂的问题。它迫使我们做出了很多的产品,设计和工程决策。实验是在每一个的中心。我们可能没有内置的功能,或者可能已经非常不同,如果我们没有使用实验建造它。

这里就是产品开发周期的样子:

思维和研究

首先,我们有足够的定性反馈表明我们的客户运行更少的测试比他们想,因为冗长花费的时间达到统计学意义。 “如果我能达到统计SIG更快”是普遍感觉。如果A / B达到测试统计显着性,这意味着观察到的,像通过率增加点击访问者行为的差异,可能是由测试引起的变化和 由于纯随机的机会。换句话说,用户可以确信的是,A / B测试影响的游客,可以使关于如何处理这种洞察力做决定。

我们队的初步设想 怎么样 缩短时间的意义,但我们首先要定量测量这个问题有多么重要的是在提交之前。

所以我们进行了“画门”测试,以验证客户的需求。一个“画门”测试创建模拟一个完整的功能集和措施谁与之互动的用户数量最少的用户体验。彩绘门后,你可以包括调查或其他一些机制来收集更多的定性数据。

在我们的例子中,我们想知道,如果用户将更有可能产生,如果他们认为他们会更快地达到统计结论启动A / B测试。这里的变化是什么样子:

变化的:

方案B:

我们学到了什么?根据谁与涂门参与的用户数量,我们看到了一个明确的信号,这是值得进一步探讨。

关键的是,这给了我们信心,正式插槽此功能发展到我们的产品路线图。

接下来,我们开始建立原型和运行模拟。统计加速器和其他机器学习功能的独特之处在于,不仅有UX和工程设计搞清楚,还有一个很大的数学问题来解决。

就这么简单看起来(开个玩笑),确保这个公式中获益的客户尽可能多地需要大量的调整的。与其他机器学习模型,我们不得不调整超参数,它控制之类的东西是如何快速的流量推送到每个变化以及如何处理波动的转换率。

调整模型,你猜对了,我们进行了一些实验。当我们写的机器学习模型在代码中,我们定义的算法的最具影响力的参数 功能变数 在optimizely 全栈。这允许我们不必潜水回代码测试这些参数的不同值。具体而言,我们利用了 Java SDK中 和合成类似的交通历史现场数据来运行全栈 功能测试 每个变量调整的测量。

下面是我们的特色测试配置看起来像在optimizely UI。一次迭代是测试针对“被动”之一的“攻击性”算法。我们定义为变量的参数为forced_exploration,aggression_level和fluctuation_sensitivity。这些影响该算法能多快帮助测试达到显着性,以及像误码率至关重要的统计结果。

使用A / B测试调整模型帮助我们了解哪些变量 造成 最大的减少时间统计显着性,在不牺牲严谨。

事实上,统计数据加速实验是 严谨和快速......真快。

与我们的算法抛光和我们是有信心 建立了错误的产品,我们离开了我们的实验室,并开始工程开发。

降低开发风险

与任何版本,总有一个机会,你船糟糕的代码。有可能建立产品是错误的。以减少我们的风险,我们决定建立一个背后完整的堆栈功能标志统计加速器(“土匪-V2”如下图所示)。然后,我们逐渐 滚出来 - 首先在我们的测试一组白名单中的客户,然后在合资格帐户的比例越来越大。

该功能推出帮助我们验证的工程质量和我们的后端基础设施的扩展和支持负载能力。最好的部分是,我们可以在UI控件这一比例在那里没有一个代码部署。

几个星期后,我们在100%,统计加速器是正式全面上市!庆祝活动接踵而至。

但当然,一个特点是永远不会结束。总有房迭代,提高。

量化,迭代和推动采用

像网球挥拍,成功取决于后续通过。最初,成功意味着收养。以提高采用率,我们运行针对特定用户群的促销活动,使用optimizely的 个性化运动。我们的目标是帮助不同类型的客户了解统计加速器的价值。

的经验传递给用户

  1. 谁正在努力在不启用统计加速器又一个A / B测试,并
  2. 其帐户有资格获得统计加速器。

没有谁访问用户的目标与加售的消息。这种类型的定位和用户体验是很容易设置和使用像一个平台,而无需工程资源推出 optimizely X个性化.

再次,我们正在寻求增加开始启用统计加速器实验的数量。而在这一点上,我们知道我们不建了错误的产品,这些活动帮助我们确保我们更正确。使用量增加也助长我们的客户反馈的管道。

结论

我们专注于一个多方位的功能在这个岗位,但这个过程可以应用到你的路线图的问题或新功能。在每个四个步骤利用实验可以帮助您避免构建了错误的产品 构建产品是错误的。

随着时间的推移,你会发现这个帖子的标题应该是相反的。也就是说,你的实验路线图 你的产品路线图,而不是周围的其他方式。以这种心态会提高从长远来看,你的开发速度,代码质量,当然业务成果。

optimizely DXE Report