一、A/B test

AB测试是为产品的界面或流程制作两个（A/B）或多个（A/B/n）版本，在同一时间维度，分别让组成成分相同（相似）的访客群组（目标人群）随机的访问这些版本，收集各群组的用户体验数据和业务数据，最后分析、评估出最好版本，正式采用。

进行AB实验能够有利于优化用户体验，提升漏斗或者单个节点的转化率，从而使得产品的最终效果变得越来越好。

如何才能运用好AB测试，通过数据反馈，AB测试，测试结果分析，运营策略优化等过程，最终将产品转化的每一个环节做好，从而更好地提升在AARRR环节的某一项数据指标

 二、从数据中发现问题

最终，从数据中发现问题，也需要回到数据中去解决问题。一般来说，在数据折线图中，数据出现下降拐点的很在程度上为异常数据。在进行数据分析的时候，可以着重关注这些数据。

如下图的各个渠道周新增用户趋势图，就可以重点分析，为什么第四周之后，新增用户的增长幅度降低，是因为预算减少了吗？还是说，在用户注册的过程中遇到了什么问题，导致新增用户下降。

 在日常的运营中，数据分析运用的比较多的便是漏斗模型，不一定是AARRR模型，而是用户路径中每一个关键步骤都会出现流失，转化率下降的问题，只是说这个流失是否在合理范围内，和业内的平均数据相比，这个数据是否还存在可优化的空间。

从关键用户路径出发，从数据中能够快速找到，用户在哪个环节可能出现了一定的问题，用户在哪个环节停留的时间比较长，用户在某个环节转化率急剧下降，这些可能就是AB实验的关键点。

做好其中一个环节的优化，便能够带来明显数据的提升，从而更好地提升转化率。

如，用户在淘宝上搜索一个产品的路径可能是：直接输入关键词——点击某个产品——查看产品信息（包括详情页和评论等）——询问客服——选择产品规则——下单购买。

而这些步骤，每个环节都会出现用户流失的情况。如果每天的曝光很高，但是却没有点击，那么说明在首图中还需要去进行优化，了解用户为什么没有点击的原因：是因为人群不精准，还是因为和竞品的首图更吸引人，还是其他什么原因。这些都可以去通过AB实验去进行测试，不断优化用户路径中的关键步骤。

接下来就进入重点了，如何去进行AB实验，在这过程中，需要注意什么，什么样的实验才真正算一个好的实验。

三、如何进行AB实验？

进行AB实验，我主要会在以下4个方面进行说明。

1）确定实验的核心目标

2）确定测试的样本量

3）确定实验的周期

4）AB实验遵从的原则

以上这4个关键点，是我认为进行AB实验最关键的核心，将这些东西弄明白，基本上就能进行一个完整的AB实验了。接下来，我将举例说明。

1. 确定AB实验的核心目标

这个应该不用多说，运营是目标导向的，做实验的时候也不例外。只有确定了做AB实验的核心目的，才能更好地进行后续的AB实验。

在核心目标这里，需要延伸出来，其他两个和核心目标相关的两个指标，第一个是辅助指标，第二个是反向指标。有这两个指标之后，我们才能更好地确定核心目标，后期也才能更好地检测这是否是一次成功的实验。如果核心指标提升了很多，但是同时反向指标也上升了很多，那么可能相当于是亡羊补牢，拆了东墙补西墙，最终也很难将核心指标提升上去。

接上边的那个列子，在用户搜索产品的时候，我们发现用户的点击率很低，远远低于行业平均水平，假设行业平均水平是5%，而目前你的产品的点击率才2%。

假设核心目标是将商品点击率从2%提高到5%，而同时辅助指标是购买转化率在一定程度上会有所提升，毕竟要保证进来的流量不是虚假流量，最终能够形成一定的转化。而反向指标是，页面的跳失率在一定程度上不会收到太大的影响。

2. 确定测试的样本量

确定了实验目标之后，紧接着我们就应该来测算出需要测试的样本量。很大的样本量虽然更能体现实验的准确性，但是可能在数据收集上也需要耗费更多的时间。很小的样本量，很难说明数据的准确性。

所以我们需要在有限的时间内收集好足够的数据量做实验。

按照实验的准确性原则来说，一般是统计显著≥95%确定的样本量，是有效样本量，能够保证实验结果的准确性，确定操作的统计显著差异不是由于偶然因素造成的，而是系统设定的测试实验的结果。

如何根据统计显著，确定所需的最小的样本量？直接用AB测试样本数量计算器（https://www.eyeofcloud.com/124.html） 计算出每个版本需要的最小样本量。

也就是说，做这个实验，至少需要640个样本数量。并且需要保证分流的均匀性，人群是随机分类的。

3. 确定实验周期

是不是上边的样本量保证了之后，就一定能保证实验的准确性呢？答案是否定的，还有一个很重要的因素是需要保证实验周期，能够刚好覆盖产品的一般使用周期。也就是说，能够覆盖产品的高频用户和低频用户，保证不会因为用户群体之间的差距而产生一定的数据的差异。

举个例子，如果一个产品的使用周期是7天，那么实验周期需要大于等于7。如果一个产品的使用周期是30天（如工具类的产品，比较低频），实验周期就需要大于等于30天，才能更好地保证实验的准确性。

4. AB实验遵从的原则

接下来，简单地和大家聊下AB实验需要遵从的原则，以便我们更好地进行实验，在保证实验结果的前提下，能够快速推动实验的进行。

1）小步快跑原则

遵循效率优先、简单优化的原则，一点点优化，一步步优化。

能不开发就不开发，能从UI层面解决的就一定不要麻烦开发小哥哥。

即使要开发，也要了解竞品的情况，给产品和技术一定的数据支撑，否则很难实现需求落地，毕竟开发小哥哥的时间都是很宝贵的，他们需要确认自己做的都是能够产生一定影响的事情。

2）案例借鉴原则

AB实验，一定要从数据入手，找到出现异常的数据。而最终进行的优化实验，也需要找到一定的案例来进行支撑（实在没有，也要找到一个相近的案例。毕竟我们的产品很多，不愁找不到相似的产品来支撑自己的实验。）

有其他案例作为支撑，也就是这个实验，是从某个成熟的产品中借鉴而来的，这样成功的几率也就更大。同时，如果有开发需求的话，产品和技术对于这个需求也更加认可。（但是请看第一条，设计开发就一定需要排期，需要排期就一定需要一定的时间。）

3）预期管理原则

做好预期管理，这里不仅包含对于实验的预期，也包含对于领导预期的管理，不要给领导以及其他协作者太高的预期。最终结果，要让结果高于预期，未来才能更好地推动资源，才能让大家更信任你。

四、测试结果分析

接下来来到最关键的一步，那就是测试结果的数据分析。

在保证核心指标明显提升的基础上，辅助指标也有一定量的提升。

同时，反向指标变化不明显。一旦反向指标差异变化明显，可能是一次不成功的实验，毕竟牺牲了其他的指标来让核心指标变得更好，不是长久的运营策略。

如果统计显著性，≥95%，那么则证明核心指标有了一定量的提升。同时，再来计算辅助指标是否也有了一定量的提升，同样也是用上方的AB测试工具计算器来计算出统计显著性。

而有了一定的小范围数据支撑之后，如果再来提开发需求，将实验结果产品化或者继续优化迭代，那么需求也更加可靠。

五、将实验结果进行整理分类

将AB实验结果记录在实验表中，方便后期更好地调用实验想法，为新的实验想法提供可参考的依据。

一般实验记录可以分为以下几个关键点：

• 实验的目标：如提升单点转化率或者漏斗转化率
• 实验类型：是针对页面上实验，还是文案修改上的实验，还是在用户路径上做了一定量的优化，简单描述就好。
• 实验的过程：简单描述下实验的过程，用了多少样本量，在多少时间内完成内进行了什么样的实验。
• 实验结果：最终的实验结果什么样。

将已经做好的实验结果进行整理归类，方便自己或者后来人调取实验库，这样在一定程度上能够提高做事的效率。

以上就是我关于AB实验的一些分享。

在AB实验中，遵从最重要的原则就是：控制单一变量，小步快跑，得出结果，不断优化总结。用实验的思维去升级迭代，不断进行优化，最终将操作系统变得越来越灵活。

附录

1.如何计算所需样本量

2.产品生命周期

3.衡量指标

顺便收集了需要通过什么指标来衡量AB Test时不同版本的差异，梳理后主要有以下几个。也需要在系统设计初期和研发沟通，确认能收集到对应数据。

• 点击通过率 Click-through Rate (CTR)
• 转化率 Conversion Rate (CR)
• 更新率 Renewal Rate
• 跳出率 Bounce Rate
• 平均保留率 Average Retention
• 平均使用量（应用，手机网站、网页，App屏幕或游戏场景上的时间），
• 平均每用户事务数Average Transactions Per User
• 净推动者指数 Net Promoter Score (NPS)
• 客户满意率 Customer Satisfaction Rate
• 平均每用户收入 Average Revenue Per User (ARPU)
• 平均订单大小 Average Order Size