统计学(3)|AB测试—实验结果分析

在上一篇文章统计学(2)|A/B测试—理论基础中，我们理清了AB测试的理论基础——假设检验的思想，并且严格推导了为什么现在公司做AB测试基本全都使用统计量。这篇文章，我们来介绍一下如何对AB测试的实验结果进行分析。在进行结果分析之前，我们先简单回顾一下假设检验的相关知识。

假设检验是先对总体的参数提出某种假设，然后利用样本数据判断假设是否成立的过程。

具体到A/B测试里的假设检验，就是指假设实验组的总体参数等于对照版本的总体参数，然后利用这两个版本的样本数据来判断这个假设是否成立。如果样本数据拒绝原假设，我们说检验的结果是显著的；反之，我们则说结果是不显著的。

（1） 原假设H0和备择假设H1

我们常把没有把握不能轻易肯定的命题作为备择假设，而把没有充分理由不能轻易否定的命题作为零假设，或者说我们将希望通过实验结果推翻的假设记为零假设 。

原假设和备择假设是一个完备事件组，而且相互对立。在一项假设检验中，原假设和备择假设必有一个成立，而且只有一个成立。

（2）检验统计量

在AB测试涉及的假设检验中，我们所构造的检验统计量稍微有一丢丢复杂，因为假设检验想要比较两个总体参数是否存在显著差异，所以对应的两个样本的统计量相比单个样本的统计量复杂一些。但有了上一篇文章的推导之后，我们了解了统计量是如何构造的，所以可以直接用一张图来表示不同情况下对应的不同统计量的形式。

当我们提出假设，并且构造完统计量之后，我们就要进行决策了，在统计学中，进行决策通常有两种方式：

一种是将统计量的值与给定显著性水平下统计量的分布的临界值作比较，以此来判断是否接受原假设。这种根据统计量落入的区域做出是否拒绝原假设的决策。确定显著性水平以后，拒绝域的位置也就确定了。(显著性水平就是我们后文中要提到的犯第一类错误的概率)但实际进行AB测试时，我们使用的是以 P值为主的实验结果评估体系。

p值是当原假设为真时，出现样本观察结果或者更极端结果出现的概率。

如果P值很小，说明发生这种情况的概率很小，而一旦发生了，根据小概率原理，我们就有理由拒绝原假设，P值越小，拒绝的理由越充分。

举个例子：假设,那我们随机抽取一个样本，其均值大于0的概率就是 P 值。通常，我们将 P 值与事先确定的显著性水平进行比较，如果 ,则拒绝原假设。

在实际进行AB测试时，我们需要判断两个不同版本之间是否存在差异， P 值就是告诉我们两个版本的实验结果之间存在显著差异的概率。

（1）两类错误

当我们提出原假设之后，我们需要根据样本信息判断原假设对不对。但是这种判断不是百分之百对的，我们可能会犯错误，错误有两种类型：

第 I 类错误（弃真错误）：原假设为真时拒绝原假设；第 I 类错误的概率记为 α ，也好就是我们前文提到的显著性水平。

第 II 类错误（取伪错误）：原假设为假时未拒绝原假设。第 II 类错误的概率记为β。

（2）统计功效

一般情况下，我们在做假设检验时候，希望拒绝原假设，得到新的结论。比如我们做AB测试，我们当然希望实验组的效果要好于对照组。也就是我们希望不要出现应该拒绝原假设时，我们却没有拒绝的情况，这就是刚才说的第二类错误。

统计功效 Power 就是我们没有犯第II类错误的概率1-β ，也就是原假设不成立时，被我们拒绝的概率。

实际进行AB测试时，统计功效就是，当两个不同版本之间存在显著差异时，实验能正确做出存在差异判断的概率。该值越大则表示概率越大、功效越充分。一般来说，我们期待并设置的最低的统计功效值为80%。

统计学中用样本去推断总体有两个工具：参数估计与假设检验。

这里我们稍加笔墨来介绍一下参数估计，目的是为了引出在AB测试中最关注的元素之一：置信区间。

参数估计和假设检验都是利用样本对总体进行推断。但是推断的角度有所不同。

参数估计又分为点估计和区间估计。

由样本量所构造的总体参数的估计区间称为置信区间。

在上文构造统计量的表格中，已经列举出了置信区间的计算公式，这里我们也不过多的介绍了。由于置信区间是一个估计区间，但是我们不能保证它一定包含总体参数。我们只能说构造的是一定置信水平下的置信区间。什么是置信水平呢？

如果将构造置信区间的步骤重复多次，置信区间所包含总体参数真值的次数所占的比例称为置信水平。

举个栗子：

我们有100个样本，由100个样本构造了100个置信区间，其中有95%的区间包含总体参数，5%没有包含，这个95%就是置信水平。

介绍完置信水平之后，我们就可以用一张图来表示置信区间与置信水平：

在实际进行AB测试时，置信区间可以辅助确定版本间是否有存在显著差异的可能性：如果置信区间上下限的值同为正或负，认为存在有显著差异的可能性；如果同时有负值和正值，那么则认为不存在有显著差异的可能性。

在实际进行AB测试时，我们的实验结果分析体系就是由上述的P 值、统计功效和置信区间所构成的。

（1）P值

判断两个不同版本的实验结果之间存在显著差异的概率。如果 p值<α（显著性水平，一般取0.05），就表示存在显著差异。

（2）统计功效

当两个不同版本之间存在显著差异时，实验能正确做出存在差异判断的概率。可以理解为我有多少的把握认为版本之间有差别。

（3）置信区间

置信区间可以辅助确定版本间是否有存在显著差异的可能性。

综上，我们认为当AB测试实验数据在95%的置信水平区间内，P值小于0.05，功效大于80%的情况下，实验结果是可信赖的。当然，这是一个严格的理想标准。在使用的实际过程中，我们会遇到多种情况，比如P值符合标准，功效还差一些，此时，我们就要根据实验背景与经验，具体问题具体分析。

通过这两篇文章，整个AB测试所涉及的统计学原理，以及如何将相关统计学概念应用到AB测试实验结果的分析中，我们已经介绍完了。之后我们会更新AB测试在实际工作中的流程，如何确定最小样本量等内容，感兴趣的可以继续关注~