从全球领先的企业下载我们的43 A / B测试案例研究的免费电子书测试的想法和灵感。 现在就下载

澳门赌场

Tips & Tricks for Building Your Experimentation Program

X

下载我们的免费测试工具包,用于A / B测试的想法,规划工作表,演示模板,和更多!

现在得到它




7-step-ab-testing-process知道在哪里,当谈到启动 A / B测试 可以是具有挑战性的。然而,要记住的重要一点是,在地方的人员和流程都只是为了测试的成功,您使用的工具,是至关重要的。

在优化我以前的经验之间 天空 以我目前的角色 位DailyMotion,我已经了解到,通过仔细规划出从一开始每个A / B和多变量测试,实验的执行和成果会更容易水到渠成。因为背后有有效的优化和测试过程中是必不可少的,我已经把这个 7步骤的过程 有效的A / B测试,这有助于你产生更多有意义的结果,避免浪费资源,并确保您不会失去组织知识。

第1步:规划

规划阶段巩固整个测试,可以说,采取以确保你会产生你可以作用于有意义的结果的最重要的步骤之一。每个测试必须有一个 假设,其中应明确的问题是你想用测试来解决。强大的假设也将提出解决问题的办法,并就预期结果的预测。

这里是一个糟糕的假设的例子:

降低了网页缩略图的尺寸将增加我们的访客点击率。

和良好的假设:

通过在主屏幕的缩略图点击率较低。通过减少缩略图的大小,我们将显示倍以上更多的视频以及增加内容发现,因此增加访问者的点击率。

上述良好的假设识别量化的问题(低点击通过在主屏幕缩略图率),认为一个解决方案(减少缩略图的尺寸和移动倍以上更多的视频),并预测结果(增加的内容发现)。简单!

规划您的实验时,还要考虑你将如何跟踪你的目标,你想测试(如果有)细分受众群,以及你将如何区隔实验结果的数据,以提高你的学习收获。

步骤2:设计

这个步骤涉及设计你的A / B测试的变化和取得的内部审批,以测试它们。当你需要测试的假设,创建一个或多个变体为您要在测试中(了解更多关于改变每个变量的设计尽可能多的潜在解决方案 的a / b / n的测试 与 多变量测试)。

让你的企业内团队或其他人的休息反超,以测试这些变化是至关重要的。确保任何你测试是一个变化,你会感觉很舒服实现在您的网站或移动应用的长期。没有内部审批,你就有可能在准备和运行测试,可能在年底,从来没有对客户产生影响的经验,无论多么惊人的结果可能是浪费资源和时间。

Step 3: Build & QA

dailymotion-ios-app

位DailyMotion的iOS应用

建立一个实验很容易与像optimizely产品。在设计变化决定之后,创建它们,任何必要的自定义跟踪一起,在测试或分析工具。已创建的变化后,QA在所有主要的网络浏览器或移动应用上的测试版测试。

你应该考虑自定义跟踪设置建设你的A / B测试的一部分?在我们跑Dailymotion上的原生iOS应用程序的测试,我们的团队实施了 在optimizely自定义事件 被点击一个网页的缩略图时进行跟踪。该事件被定为我们的首要目标,并在谷歌分析还实施分割结果时,给我们的灵活性。

在这种情况下,我们已经集成谷歌分析与optimizely,所以我们能够很容易地映射自定义维度的实验optimizely。通过使用 optimizely的预览工具,我们可以那么的QA试验,以确保它工作正常。

第4步:启动

这一步是相当不言自明:在这个阶段过程中,设定的实验生活和等待结果进去。

步骤5:分析

它的时间来查看测试结果。是结果统计显著?如果不考虑运行测试更长的时间才能达到统计显着性阈值。

挑战你从A / B测试得到的数据。如果你看到没有改善看着高层次数据时,试图通过受众细分结果作为流量来源,设备或国家,看看是否变化(个),这些不同的表现则有所不同属性等。切记不要对待每一位用户相同的,并提请的分析和见解,可以链接到形成于第1步中的假设。

例如,在步骤1中详述,如果结果显示我们的成功指标(网页点击率)的隆起,具有统计学意义的假设,那么,我们已经清楚地表明,降低了缩略图的大小产生的内容发现的改善,而且我们已经证明了这种假设是正确的。

步骤6:动作

分析结果后,作用于他们是拿在A / B测试过程的下一个合乎逻辑的步骤。有没有在A / B测试一个明确的赢家?是测试产生的问题多于答案?

回答既肯定又否定这些问题是好的。如果没有一个明确的获胜变化,仍有待获得的,因为你的假设已经被证明不真实的洞察力。但是,如果有一个明显的赢家,决定它是否是最好的推出新的经验或运行迭代测试的基础上测试成功,并尝试和推动更大的隆起。如果产生更多的问题,用这些来指导你可能要开始规划将来的测试方向。

步骤7:文件

不幸的是,这最后一步经常被遗忘。但是,也有对记录的测试计划,结果和行动带来许多好处。

文档化让您从过去A / B和多变量测试,学习和避免被进一步反复试验的路线时,他们似乎是一个遥远的记忆。具有历史考验的组织和访问记录意味着没有洞察力是不断浪费。该测试是否被记录为一个成功或者如果它表现出不确定的结果,它有一个值得注意的地方,以改善和有什么可以不同的下一次绕来完成是非常重要的。

你可能会发现一些测试并不需要遵守所有七个步骤是成功的,但它是一个有用的指导参考。通过保持测试简单,驱动数据,没有太多的KPI,并获得团队的其他成员船上,你很快就会用自己的方式来测试成功。记住,你是不会不进行测试时,总有可以得到的见解!

阅读理查德的快速指南,A / B测试,看看在充满信息图,请访问理查德的网站 这里.

optimizely DXE Report