这几层分析方法中存在一些通用的因素，首先，样本是定向的样本还是随机的。第二个是有没有控制，比如最下面的案例研究是没有控制的，它可能针对一个群体做分析，而 AB 实验天然会分成对照组和实验组，是有控制的。最后一个就是实验结论是否可以复现，是否科学。这三个因素的不同导致了整个分析方法可信度的差异。从下往上，可信度逐步提升。AB 实验是分析成本最低的一个方法，可以通过工程化的方法来提效，通过 AB 产品化的方式来降低使用门槛。
AB 实验有三个主要的特点：
先验性，用事实说话，可以通过小流量低成本来得到一些结论。
科学性，实验分析时会用到假设检验的方法，相对来说是比较科学的。
推断性，通过随机流量控制可以排除混杂因素的干扰，聚焦到我们的控制变量和实验策略上。
当然AB实验也不是万能的，一些适用和不适用场景：
适用场景
产品迭代
用户运营
算法优化
营销和用户增长
商业化
不适用场景
战略或者重大决策
缺少数据或者样本的情况
商业、道德、技术的限制
AB实验的定义
AB 实验源于假设检验。我们在线上流量中取出一小部分（较低风险），完全随机地分给原策略A和新策略B（排除干扰），再结合一定的统计方法，得到对于两种策略相对效果的准确估计（量化结果）。
对于公司自建平台，国内主流的一些互联网厂商也都有很好的实验平台，比如滴滴、美团、阿里、网易、新浪微博等，甚至有一些公司内部有多个实验平台。国外的微软、谷歌也都有非常有特色的实验平台。这些公司也都是用户体量比较大，实验场景多，数据分析基础比较强的公司。在自建实验平台的时候，如果公司业务体量大的话，不同的业务可能结合自身的需求都建过一些实验平台了，这时候还要推动平台从 N 到 1 的建设。在新建平台时，就要考虑业界的最佳实践，同时还要考虑业务方的独特诉求。这样在公司内部推行实验平台的时候才能顺畅，并且最终可能变成全公司通用的实验平台。
