从全球领先的企业下载我们的43 A / B测试案例研究的免费电子书测试的想法和灵感。 现在就下载

澳门赌场

Tips & Tricks for Building Your Experimentation Program

X

下载我们的免费测试工具包,用于A / B测试的想法,规划工作表,演示模板,和更多!

现在得到它




签证先用optimizely在2015年合作建立一个围绕自己的在线支付产品实验的文化。

在optimizely联合研讨会: 旅途中实验文化,ramkumar ravich和ran,A / B测试的签证的导演,分享了取得签证的试验计划成功,有2.5倍以上成功的测试比其行业标准的时刻: 

我们将分享ramkumar四个问题和他的团队使用,以确定产品,队友和过程的最佳组合,以打造签证目前的实验团队。 

  1. 建造或购买? 
  2. 谁负责的实验? 
  3. 什么是最有效的实验过程?
  4. 如何设定关键绩效指标,以便追踪成效?

1.建造或购买?

ramkumar分享了签证首先必须决定他们是否会建立或购买他们的解决方案,一个经常费尽心思的决定时,他们开始测试,很多企业面对的问题。 

“让我们用从别人那里听到默认的决定是,让我们在内部建立的东西,你知道的,因为没有在世界上任何一个实验工具可以解决所有问题。” 

  • ramkumar ravich和ran,签证

ramkumar的球队,起初默认在内部建立。他已经构建的解决方案在内部以往的实验团队,使他不仅能运行最有影响力的实验,但也执行复杂的测试(多元, 服务器端, multi-factor, multiple A/B, or multipage) 和 customize metrics & analytics integrations. 

“它是关于能够定义自定义指标,并与该分析和客户体验管理工具简化整合,并让所有的这流回我们的数据湖中,让我们能够做回顾性分析。它是关于跨越各种环境的性能做这一切的规模“。 

另一个原因是诱人的签证在内部建立,是因为他们有一个大的和优秀的工程师队伍。尽管这个伟大的工程技术队伍,建立内部仍然会是太昂贵了。 ramkumar说,他的团队将有太多的时间奉献给不仅构建解决方案,但通过产品的生命周期维护它。这项投资没有意义给予工程师等战略重点。

“建在房子所需的时间和财政负担让我们赞成让行业中的佼佼者......谁很快,今天可以整合的。 optimizely是一个平台,让非程序员也可以互动......赶上了业界新趋势“。 

决定合作伙伴optimizely,而不是建立一个内部的解决方案,ramkumar和他的同事不得不坐下来定义自己的球队,他们的新工艺,和球队的关键绩效指标的成员之后。

2.谁负责的实验? 

一旦与optimizely合作,签证成立了一个团队来管理实验。 ramkumar与我们分享他问自己,同时建立团队两个关键问题:

  • 谁管理实验计划?
  • 谁拥有的过程中哪些部分组成?

“我们意识到,它不会是一个人做这一切。它不会是几个人坐在仓库做这一切。这将是一个巨大的结构,应该是快,它应该是动态的,并响应不断变化的趋势“。

定居在合适的团队框架,签证降落在专业人士为他们的正确组合之前测试不同的团队结构。这个框架可以展开为团队规模。签证的团队现在包括:

A / B测试analyst:驱动器和管理程序。他们带领球队从构思到移交测试成功的产品负责人。此人是在optimizely'nd拥有测试设置,部署和分析方面的专家。

产品合作伙伴:带来了产品团队对思维能力和测试的角度来看。他们连接到不同的产品所有者和充当联络员的产品团队。 

QA合作伙伴:确保不会有在从可用性的角度来看的测试设置的错误。 

技术合作伙伴:咨询关于建立需要编程知识的高级测试测试和助攻。 

设计合作伙伴:给团队的视觉效果关闭的工作进行测试。 

ramkumar到位有一个实验队后,他把重点珩磨最有效的实验过程。

将实验团队遵循3.什么进程?

而不是建立一个团队围绕预定程序,签证先建队。这样一来,该团队参与创作的过程和每个工序提供有价值的反馈。 

签证使用看板队与他们的质量保证,技术,设计和产品合作伙伴。看板是用来平衡球队的带宽和处理瓶颈的敏捷开发方法。他们在整个过程看作是一个团队从构思和设置,以QA,部署和部署后。 

“所以看板团队的设置是来帮助我们,因为每个人都在专注于做实验成功,并推动产品的影响相同目标的人。”

团队配合意念和优先启动,集思广益,决定哪些测试值得追求。然后,他们又转向设置和设计测试。接下来,他们他们部署在测试之前执行质量检查从用户的角度出发,测试。部署后,团队可以分析数据和实施的提高转变。 

Visa Experimentation

从签证和optimizely研讨会形象:旅程的实验文化

4.如何将团队KPI集?

ramkumar注意到它是多么重要的KPI定义及早跟踪团队的成功为球队又大又负责提高许多功能和Visa的产品的组成部分。他提出了两个问题,以帮助确定关键绩效指标:

  • 我们是否有任何成功的标准是什么? 
  • 我们是否有一个能定义这个测试是成功的任何指标或框架? 

ramkumar的团队有两个阶段的KPI方法上来。第一阶段是“业务,”跟踪实验的操作和流程是如何成功的人。关键绩效指标的第二个阶段是影响和投资回报率各实验跟踪他们的整体业务目标的影响(比如年收入)签证的实验团队希望能够展示他们做签证的整体业务目标的重大贡献。 

关键外卖

如果你正在寻找获得最大的实验,这你躺在正确的基础是至关重要的。 

  • 选择一个平台,可以处理你需要的复杂性。
  • 定义你的队友实验中的角色和预期的贡献。
  • 建立一个高效和有效的方法进行测试,从构思到部署和优化。

签证继续发扬这一ramkumar四年前成立了成功的实验基础。在未来,他们计划扩展他们的实验项目,继续投资于使基于数据的决策。 

 

optimizely DXE Report