从全球领先的企业下载我们的43 A / B测试案例研究的免费电子书测试的想法和灵感。 现在就下载

澳门赌场

Tips & Tricks for Building Your Experimentation Program

X

下载我们的免费测试工具包,用于A / B测试的想法,规划工作表,演示模板,和更多!

现在得到它




在2010年10月21日 奥巴马总统 参观帕洛阿尔托筹集资金的好醇”老式的方法:A $ 30,400每板筹款晚宴。这种尝试和真正的筹款方法是筹集资金,如果你能得到美国总统展现出来吃饭的好方法。但你怎么能筹集资金,如果没有人听说过你,你已经是一个网站吗?早在2007年,当奥巴马竞选提名,并在民调中以两位数落后,这几乎是所有我们。

本实验

作为奥巴马2008年竞选分析总监,我的工作就是使用数据来帮助运动做出更好的决策。我们开始只是一个简单的实验回在2007年12月这个实验告诉我们, 每一个游客到我们的网站是一个机会 并通过网站优化和A / B测试采取的这一机会,可以帮助我们筹集了数千万美元。

在顶部和“媒体”部分:本实验测试了我们的形象页面的两个部分 呼吁采取行动 “按钮”

我们尝试了四个按钮与六个不同的媒体(三个图像和三个视频)。我们使用谷歌网站优化就跑这是一个全因子多元测试,只是说我们在同一时间测试的相互按钮和媒体的所有组合的一个奇特的方式。因为我们有四个按钮,而这意味着我们有24(4×6)的总的组合来测试六种不同的媒体。每一位游客的初始页面随机显示这些组合之一,我们跟踪他们是否签约与否。

之前,你向下滚动,看到的结果,哪个按钮和媒体你认为有最高的注册率是多少?

按钮的变化

媒体的变化

结果

我们用来衡量成功的指标是签了速度:谁签约谁被看到特定变异的人数除以人口数。因为这意味着每个变化在实验过程中共有310382人次到醒目网页是由大约13000人看到。

这里是我们为每个部分所观察到的不同的注册率:

这里有不同部分的组合在注册率:

赢家

按钮和媒体的表现最好的组合是“组合11”,这是“了解详情”按钮和“家庭”的形象:

之前,我们跑的实验中,竞选工作人员沉重偏爱“sam的视频”(最后一个在幻灯片小号hown以上)。如果我们没有运行这个实验,我们会很可能使用了醒目网页上的视频。这将是一个巨大的错误,因为事实证明,所有的影片虽然不是所有的图像差。

胜出的变化有11.6%了注册率。原来的页面有8.26%了注册率。这40.6%中签率最高的改善。是什么的40.6%提高翻译成?

好吧,如果你认为这种改善大致保持一致通过竞选的其余部分,那么我们可以看看总数在活动结束并确定差异这个实验了。大约有10万人在竞选期间的初始页面上注册。如果我们不执行此实验,只是坚持原来的页面,这个数字将接近712万个注册。这是2,880,000电子邮件地址的差异。

发送电子邮件到谁是我们的初始页面上注册人,并要求他们通常自愿转换其中的10%为志愿者。这意味着翻译成288000名更多的志愿者额外的2,880,000电子邮件地址。

这是通过我们的初始页面提交每个电子邮件地址结束了竞选的长度期间捐赠的$ 21中的平均水平。我们的电子邮件名单上的额外2,880,000电子邮件地址翻译成捐款的额外6000万$。

得到教训

  1. 每一个游客到您的网站是一个机会。利用这个机会通过 网站优化 和A / B测试。
  2. 问题假设。大家对运动的喜爱的影片。所有视频结束了比所有的图像做差。我们从来不知道如果我们没有质疑我们的假设。
  3. 尽早且经常尝试。我们在2007年12月运行此实验,并从中获益的活动的其余部分。因为这第一个实验被证明是非常有效的,我们继续在整个系列中投放数十个实验整个网站。

为什么optimizely?

我们optimizely创建,因为我们想要做这样一个实验,比较容易做。其实,optimizely是产品我 希望 我们喝了在竞选。我们只能够运行我们希望,因为运行与当时存在的产品实验所需的时间和麻烦在竞选期间运行实验一小部分。如果你正在寻找测试您的网站更简单的方法, 给optimizely一试,让我们知道您的想法。

optimizely DXE Report