终于有人把AB实验讲明白了
导读:近几年AB实验的曝光度越来越高。AB实验并不是近几年才有的,从推荐系统诞生开始,AB实验就扮演着重要的角色。本文主要介绍AB实验的基本概念,包括AB实验和在线AB实验的定义以及AB实验的常见类型。
作者:刘玉凤
来源:大数据DT(ID:hzdashuju)
01 AB实验的定义
AB实验又称为受控实验(Controlled Experiment)或者对照实验。AB实验的概念来自生物医学的双盲测试,双盲测试中病人被随机分成两组,在不知情的情况下分别给予安慰剂和测试用药,经过一段时间的实验后,比较这两组病人的表现是否具有显著的差异,从而确定测试用药是否有效。
2000年,Google工程师将这一方法应用在互联网产品测试中,此后AB实验变得越来越重要,逐渐成为互联网产品运营迭代科学化、数据驱动增长的重要手段。
从国外的Apple、Airbnb、Amazon、Facebook、Google、LinkedIn、Microsoft、Uber等公司,到国内的百度、阿里、腾讯、滴滴、字节跳动、美团等公司,在各种终端(网站、PC应用程序、移动应用程序、电子邮件等)上运行着大量的AB实验。
这些公司每年进行数千到数万次实验,涉及上亿的用户,测试内容涵盖了绝大多数产品特征的优化,包括用户体验(颜色、字体和交互等)、算法优化(搜索、广告、个性化、推荐等)、产品性能(响应速度、吞吐量、稳定性、延迟)、内容(商品、资讯、服务)生态管理系统、商业化收入等。
因为AB实验被引入互联网公司后,应用场景主要是大规模的在线测试,所以也被称作在线AB实验或者在线对照实验(Online Controlled Experiment,OCE)。
常见的在线AB实验中,用户被随机、均匀地分为不同的组,同一组内的用户在实验期间使用相同的策略,不同组的用户使用相同或不同的策略。
同时,日志系统根据实验系统为用户打标记,用于记录用户的行为,然后数据计算系统根据带有实验标记的日志计算用户的各种实验数据指标。实验者通过这些指标去理解和分析不同的策略对用户起了什么样的作用,是否符合实验预先的假设。如图1-1所示,图中流程概括了AB实验的经典模式。
▲图1-1 AB实验流程
将图1-1所示的流程应用到产品迭代中,就是将具有不同功能、不同策略的产品版本,在同一时间,分别让两个或多个用户组访问。这些参与实验的用户组是从总体用户中随机抽样出来的,一般只占总体用户的一小部分,而且不同组用户的属性、构成成分是相同或相似的。
先通过日志系统、业务系统收集各组用户的行为数据和业务数据,然后基于这些数据指标分析、评估出相比之下更好的产品版本,最后推广到全部用户。
以图1-2为例,我们试图通过AB实验找出哪个颜色的横幅位点击率更高:A组保持浅色横幅不变,B组采用深色的横幅,分析哪个颜色更能引起用户的关注,提升用户的点击率。如果通过实验发现深色横幅的点击率更高,就将深色横幅位推广到全部用户。
当然,在实际应用中,AB实验的效果评估一般没有这么简单,比如除了点击率之外,还需要综合考虑其他的指标。
▲图1-2 AB实验测试哪个颜色横幅位点击率更高
02 AB实验的类型
从不同分类视角来看,AB实验有着不同的类型。
- 从实验实施的产品形态来看,AB实验可以分为App类型、PC类型、网页页面类型等。
- 从实验代码运行的机制来看,AB实验可以分为前端页面类型、后端服务类型等。
- 从实验分流的对象来看,AB实验可以分为用户类型、会话类型、页面类型、元素类型等。
- 从实验服务调用的方式来看,AB实验可以分为SDK类型、接口服务类型等。
- 从实验内容来看,AB实验可以分为交互类、算法类、内容类、工程性能类等。
这些是AB实验常见的分类方式。当然,AB实验的分类不局限于以上分类,可以根据实际情况,采用不同的分类方式。不管何种类型的AB实验,都应符合分流→实验→数据分析→决策的基本流程。
本文摘编自《AB实验:科学归因与增长的利器》(ISBN:978-7-111-70713-4),经出版方授权发布。
相关文章
- 在 Go 里用 CGO?这 7 个问题你要关注!
- 9款优秀的去中心化通讯软件 Matrix 的客户端
- 求职数据分析,项目经验该怎么写
- 在OKR中,我看到了数据驱动业务的未来
- 火山引擎云原生大数据在金融行业的实践
- OpenHarmony富设备移植指南(二)—从postmarketOS获取移植资源
- 《数据成熟度指数》报告:64%的企业领袖认为大多数员工“不懂数据”
- OpenHarmony 小型系统兼容性测试指南
- 肯睿中国(Cloudera):2023年企业数字战略三大趋势预测
- 适用于 Linux 的十大命令行游戏
- GNOME 截图工具的新旧截图方式
- System76 即将推出的 COSMIC 桌面正在酝酿大变化
- 2GB 内存 8GB 存储即可流畅运行,Windows 11 极致精简版系统 Tiny11 发布
- 迎接 ecode:一个即将推出的具有全新图形用户界面框架的现代、轻量级代码编辑器
- loongarch架构介绍(三)—地址翻译
- Go 语言怎么解决编译器错误“err is shadowed during return”?
- 敏捷:可能被开发人员遗忘的部分
- Denodo预测2023年数据管理和分析的未来
- 利用数据推动可持续发展
- 在 Vue3 中实现 React 原生 Hooks(useState、useEffect),深入理解 React Hooks 的