这几层分析方法中存在一些通用的因素,首先,样本是定向的样本还是随机的。第二个是有没有控制,比如最下面的案例研究是没有控制的,它可能针对一个群体做分析,而 AB 实验天然会分成对照组和实验组,是有控制的。最后一个就是实验结论是否可以复现,是否科学。这三个因素的不同导致了整个分析方法可信度的差异。从下往上,可信度逐步提升。AB 实验是分析成本最低的一个方法,可以通过工程化的方法来提效,通过 AB 产品化的方式来降低使用门槛。
AB 实验有三个主要的特点:
先验性,用事实说话,可以通过小流量低成本来得到一些结论。
科学性,实验分析时会用到假设检验的方法,相对来说是比较科学的。
推断性,通过随机流量控制可以排除混杂因素的干扰,聚焦到我们的控制变量和实验策略上。
当然AB实验也不是万能的,一些适用和不适用场景:
适用场景
产品迭代
用户运营
算法优化
营销和用户增长
商业化
不适用场景
战略或者重大决策
缺少数据或者样本的情况
商业、道德、技术的限制
AB实验的定义
AB 实验源于假设检验。我们在线上流量中取出一小部分(较低风险),完全随机地分给原策略A和新策略B(排除干扰),再结合一定的统计方法,得到对于两种策略相对效果的准确估计(量化结果)。
对于公司自建平台,国内主流的一些互联网厂商也都有很好的实验平台,比如滴滴、美团、阿里、网易、新浪微博等,甚至有一些公司内部有多个实验平台。国外的微软、谷歌也都有非常有特色的实验平台。这些公司也都是用户体量比较大,实验场景多,数据分析基础比较强的公司。在自建实验平台的时候,如果公司业务体量大的话,不同的业务可能结合自身的需求都建过一些实验平台了,这时候还要推动平台从 N 到 1 的建设。在新建平台时,就要考虑业界的最佳实践,同时还要考虑业务方的独特诉求。这样在公司内部推行实验平台的时候才能顺畅,并且最终可能变成全公司通用的实验平台。