ab测试(ab压力测试)

团队成长有三宝:埋点、漏斗、AB测。这篇文章告诉你AB测试系统是如何从应用到构建的。

一、什么是AB测试？A/B测试是一种产品优化方法；对同一个优化目标制定两个方案，让同一部分的用户有的打A方案，有的打B方案，统计比较不同方案的点击率、转化率等数据指标，在不同方案的数据表现通过假设检验后，确定最终方案的实验方法。

二、AB测试的意义？AB是支持数据决策最有力的工具。

下面是最基本的数据驱动流程。方案验证是AB检验过程，实验是检验真理的唯一标准。

数据收集数据分析发现问题提出方案方案验证发布上线三、AB测试实验需要满足以下两个特性1. 同时性

两种策略同时投入使用，而不是AB，会受到其他因素的影响。

2. 同质性

两种策略对应的用户群需要尽可能一致。

四、AB测试实验详解1. 流量分配规则：正交与互斥

(1)正交实验

每一个独立的实验都是一层，当一个流量经过每一层的时候，都会被随机打散重新组合，以保证每一层的流量相同。

(2)互斥实验

尝试在同一层分割流量。不管怎么拆分，不同组的流量都不重叠。

(3)什么情况下流量会正交互斥分布？

我们只是使用了正交流量分配方法，导致了错误的数据结果。如果我们在那个实验中使用互斥流量分配方法，这个问题就可以完美解决。

在AB测试实验中，当两个或两个以上的实验内容相互影响时，选择互斥法分配流量，当两个或两个以上的实验内容互不影响时，选择正交法分配流量。

正交：可以节省流量；互斥：可以让耦合的实验完美剥离开来不互相影响。

(4)举个例子。

在详细信息页面上做两个实验:

其中一个是转化按钮颜色的AB测试实验；另外一个是转化按钮文案的AB测试实验。如果我们使用正交流量分配的方法会发生什么？

即流量同时命中实验1和实验2。最后，向用户呈现以下四种情况。在这种情况下，我们无法统计出准确的数据结果，因为已经违反了单变量原则。

这种流量最好互斥分配，一部分用户打实验1，一部分打实验2。

2.AB测试系统实验架构AB测试系统实验架构包括:应用层-实验层-策略层。

(1)应用层

应用层级别是最好的，应用层和应用层之间的流量是正交的。

(2)实验层

实验层是应用层的一个子层，实验层和实验层之间的流量是互斥的。

(3)战略层

策略层是实验层的子层。一个实验可以有多个策略，多个策略之间的流量互不影响。

例如:

应用：App客户端实验：购买按钮颜色策略：红色、橘色3. 创建实验

创建实验时，一般先设定实验条件和统计指标。

实验条件:AB测试系统可以用一些条件限制用户，比如城市，年级，新老用户，版本号，平台(iOS，Android，h5)。这里可以直接引入用户画像系统，直接进行人群定向的AB测试实验。门户:用户画像如何从构建到应用？》

这个功能主要是针对符合这类实验条件的用户进行分流。不满足这些条件，他们就不分流，直接打默认策略。创建策略时，会检查默认策略。如果用户不满足条件，命中默认策略，这些用户产生的数据不参与计算，不影响实验结果。

(1)城市、等级、新老用户

这些条件很好理解，就是用户的城市、年级、新旧，但是用户需要登录才能获得这些信息。

实验条件设置好了，用户没有登录怎么办？

我们认为未登录的用户不符合实验条件，所以会采取默认策略，这样会避免一些不符合实验条件的用户打实验的可能。但是，为了保证同一用户在登录和注销时看到相同的页面，这些人即使在登录后也会遵循默认策略。

然而，并非所有未注册的用户都是如此。我们判断当前时间与未注册用户刚刚登录的时间之差是否大于两天。

如果超过两天，我们就让他打实验，分流。这也是为了保证每天大量下载的用户也会命中AB测试，达到一个平衡的状态。

(2)适用版本

这里的版本是AB test为客户端提供的功能。

比如:1.0.1版本的iOS，1.0.2版本的Android推出了AB测试实验。

如果没有绑定版本号会怎么样？

因为版本的发布，用户除了强制升级，还是老版本。老版本的用户也会打实验，但是这些用户是在看不到不同策略的时候出现的。AB测试系统给用户策略A，用户看到的却是策略B，最终影响数据的准确性。

版本号设置将向上兼容，这意味着只有该版本号或更高版本号的用户才能进行实验。

(3)平台

有三个平台:iOS客户端、Android客户端和JS(H5)

不同平台的AB测试。

这里先不说iOS和Android，只说H5，因为H5的埋点报告和客户端不一样，H5的分布唯一id也和客户端不一样。客户端使用的ID是设备ID，H5是cookieID。

统计指标:

(1)对于AB来说，两种策略上线后，我们需要跟踪两种策略的数据效果。

这两种策略的效果数据源是两个被埋没的事件:浏览页面和点击按钮提供数据支持。比如客户端需要对课程详情页的注册按钮样式进行AB测试。在监测数据时，我们需要统计进入详情页的人数，点击uv上的注册按钮进行统计。

用报名按钮uv/详情页uv的值来统计报名按钮风格AB两种策略的效果，所以需要在创建实验的时候确定统计指标。确定指标后，你需要确定实验需要哪些埋置指标。有两个隐藏事件:细节页面uv和注册按钮uv。

当然还有更负责任的数据指标，但都可以用埋数据的方式上报，进行统计。

(2)计算方法

假设一个漏斗包含A、B、C、D、e五个步骤，选择的时间范围为2015年1月1日至2015年1月3日，窗口期为1天。然后，如果用户在2015年1月1日至2015年1月3日触发步骤A，并在步骤A发生的一天内依次触发B、C、D、E，则认为用户完成了一次成功的漏斗转化。

在这个过程中，如果穿插一些其他的步骤或者行为，比如，在达到时间限制的时候，用户的行为顺序是a >:X & gt；B& gt；X & gtC & gtD & gtX & gte，x代表任何事件，那么用户仍然被视为完成了一次成功的漏斗转化。

如果用户在此事件的限制范围内，a >: B &gt。C & gte、用户没有完成漏斗的转化，在步骤c中会被记录为流失用户。

考虑一个更复杂的情况。如果用户在所选时间段内有多个事件符合某个变换步骤的定义，则最接近最终变换目标的事件将首先被选为变换事件，当第一次达到最终变换目标时，将停止变换的计算。

假设一个漏斗的步骤定义为:访问首页，选择支付方式，支付成功，那么不同用户的行为序列和实际转化步骤(红色标注)如下例所示:

例 1：访问首页 -> 选择支付方式（支付宝） -> 选择支付方式（微信）-> 支付成功。例 2：访问首页 -> 选择支付方式（支付宝） -> 访问首页 -> 选择支付方式（微信）-> 支付成功。例 3：访问首页 -> 选择支付方式（支付宝） -> 访问首页 -> 选择支付方式（微信）-> 支付成功 -> 选择支付方式（微信）-> 支付成功。五、分流引擎

导流策略:简单理解就是哪些用户会打策略A，哪些用户会打策略b。

在说分流策略之前，先举个例子，有助于更好的理解。

假设招生按钮颜色实验将流量分成50%，策略“红色”按钮将流量分成40%，策略“蓝色”按钮将流量分成60%。

比如模数为10000，注册按钮颜色实验的数字范围为0-5000；10000*50%。

策略“红色”按钮的数字范围是0-2000；5000*40%。

策略“蓝色”按钮的数字范围是2000-5000；2000+5000*60%。

现在我们散列用户的唯一id和应用程序id。哈希后得到一个数，当这个数落在哪个数的范围内，就给用户分配哪个策略。经过10w次分流测试，8s，流量diff小于1%，各应用分配的用户正交，互不影响。

如图所示:

不及物动词对接模式AB测试系统与App服务器或H5服务器对接，有两个接口:一个是策略请求接口，一个是埋点接口。

1. 埋点接口

AB测试系统将接口参数传送给服务器，服务器将参数传送给客户端和H5前端。

或者客户端前端遍历这些event ids(隐藏事件id)。如果用户点击这些隐藏的事件，会有数百个abtestid键和值。

2. 策略接口

例如，实验是客户端注册按钮“红色”和“蓝色”。

当流量进入客户端，客户端问服务器:我这里有两个彩色按钮。我应该显示哪个颜色的按钮？

服务器:还不知道。我将为你询问AB测试服务。

问一下服务器的AB测试服务:客户端来的流量里有两个彩色按钮。你需要显示哪个颜色的按钮？

AB测试服务:显示“红色”按钮。

服务器:我知道，告诉客户:显示“红色”按钮。

客户:我明白了。客户端显示“红色”注册按钮。

七、AB测试效果分析1. 我们为什么要做假设检验？

AB检验是一种典型的通过样本数据估计总体数据效果的方法，所以为了避免小概率误差，我们需要对AB检验的结果进行假设检验。

2. 如何进行假设检验？

AB检验的假设检验一般是两个总数的假设检验。具体可参考一文如何做假设检验。

作者:斑马，如有疑问，请加微信13126701193

本文由@斑马原创发布。每个人都是产品经理。未经许可，禁止复制。

来自Unsplash的图像，基于CC0协议。