ab测试是什么(ab测试数据分析)

编辑导语:AB测试技术最早应用于美国的互联网市场，进入国内市场只用了6、7年的时间。2000年左右，以Google为首的互联网公司开始采用AB测试法，利用数据帮助企业进行决策管理，降低试错成本，促进业务增长。2010年后，AB测试开始呈现产品化趋势，成为企业决策的重要工具。

今天给大家分享一下关于AB测试的基础知识。

一、AB测试是什么

互联网瞬息万变，很多产品的迭代速度是每周甚至每天。无论是产品的优化方向，还是决策的制定，都需要数据来说话。

目前大部分产品都是通过直接发布一个版本给所有用户来迭代的。一旦遇到在线bug或者数据结果不好，就要紧急修复或者优化功能，有时候甚至需要回滚到之前的版本。

这对用户体验和项目进度影响很大。怎么才能解决这个问题？

AB测试可以很好的避免这个问题。所谓AB测试，就是在正式发布之前，把用户流量分成几组，让用户看到不同的方案设计，根据几组用户的真实数据反馈来检验数据效果。

如果新版本数据呈现没有问题，可以考虑全额发布新版本，这样可以有效降低所有在线用户发生意外的概率，提高用户体验。简单的理解其实就是初中学的对照实验。一个是控制组，另一个是实验组。

哪些场景适合做AB测试？

二、AB测试的应用场景

AB测试通常用于以下情况:

1. UI的优化

这是常见的场景。

不像功能设计，逻辑思路很多，往往可以确定哪个方案好，哪个方案不好。UI的优化往往很有艺术性。任何人在没有看到真实数据之前，往往很难说明哪种设计能带来更好的数据效果。如下图:

上图是一个颜色的变化。在这种情况下，更适合通过AB测试来完成最终的方案确定。

2. 文案变化

其实这和UI级优化很像。同一个按钮是叫【立即申请】还是【立即申请】？

如何做决定？还是交给AB测试吧~

3. 页面布局

页面布局主要是指同一页面中不同元素的排列。

4. 算法优化

算法优化应该也是AB测试的一个重要场景。

之前的算法基本都是基于历史数据来训练和构建算法模型。本土模式再好，推出后也不一定表现好。只有在线才是检验算法有效性的决定性标准。

但是谁也不能保证上线效果，不是吗？这个时候做一些小流量的AB测试，是一个非常好的、通用的选择。

三、流量分配

还讨论了AB测试的基本概念，其中最重要的一个概念是用户流量分组。实际上，在登陆时，允许用户按照一定的规则随机访问某个版本。如何分配流量？

关于流量分配，主要有两点:同层互斥分配和不同层正交分配。

1. 同层互斥分配

每一层都有所有的流量。在同一层中，多个测试共享100%的流量，测试之间的流量是互斥的。比如同一层，如果实验1占用了40%的流量，实验2最多只能使用60%的流量，以此类推。

有如下示意图:

同时运行多个测试时，如果希望测试结果尽可能准确，并且需要保证测试之间互不干扰，建议将测试建立在同一层，同一用户在该层只进入一个测试。

2. 分层流量正交

分层意味着复用用户流量。如果测试1和测试2使用不同的层，测试1和测试2可以分配高达100%的流量。在这种情况下，同一个用户将同时输入实验1和实验2。

当两个测试在不同的层时，需要保证测试内容互不相关，否则会干扰测试数据。

目前，平台中的每个实验都是独立的一个实验层。当一个流经过每一层实验时，会被随机打散并重新组合，以保证每一层的流量相同。

举个例子，假设我现在有两个实验。实验A(实验组标记为版本A1，对照组标记为版本A2)分布在实验的第一层，取该层100%的流量；实验B(实验组标为B1，对照组标为B2)分布在实验层2，也取该层100%的流量(注意实验层1和实验层2实际上是同一批用户，实验层2只复用实验层1的流量)。

如果A1组的流量分成两半，一个放入B1组，一个放入B2组；然后将A2组的流量分成两半，一个在B1组，一个在B2组。然后两个实验会调用如下图所示的流量。此时，在实验A和实验B之间形成了流动“正交性”..

关于AB测试，今天就来分享这些。下篇分享业界对AB测试系统的研究，看看各大厂商是如何把AB测试变成产品的。

本文由@冬至原创发布。每个人都是产品经理。未经作者允许，禁止转载。

题目来自Unsplash，基于CC0协议。