先贤方法库SAGEDECK

首页/增长营销/U036

A/B 随机对照测试

A/B Testing

先检查随机化、样本比例、指标与观察期，再判断差异是否可信。

精编方法 · 方法 · 通行术语

01 · 场景

B 组转化更高，就可以宣布获胜吗？

构造 A、B 各分配 1,000 人，成功 100 与 120 人；计划是 1:1 随机分配。 先检查随机化、样本比例、指标与观察期，再判断差异是否可信。

构造场景，用于解释方法。

02 · 原理

一张图看懂它怎么运转

FIG. 原理图A/B 随机对照测试

本图是本库对公开方法与本地材料的操作化整理。箭头表示检查顺序，不表示统计因果。

03 · 实验

改变条件，观察结果

构造实验 · 数字演算

点估计与实验可信度分开

修改数字后即时复算。可以固定当前条件，再比较另一组输入。数据均为构造，不作真实业务预测。

实验假设与边界

两组互斥，每人一项二元结果；观察窗完整。未处理聚类、重复测量、多重比较和提前窥视。

04 · 分析交付

先给主判断，再展示依据

  • 主判断：先回答当前问题，给出有证据的首选解释、方案或行动。确实并列时写明比较结果及下一项区分证据，不用罗列可能性代替判断。
  • 判断依据：把关键原始记录、计算和推断连到结论。说明方法实际改变了哪项判断；来源不足时缩小结论范围，仍交付已能成立的部分。
  • 量化口径：按方法原有公式、单位和分母计算。材料编码须去重并单列未知；没有量化依据则给理由明确的定性比较，不编统一分数或未经校准的概率。
  • 反证与改判：指出最强的相反证据、替代解释或敏感变量。写清什么新事实或阈值变化会使首选改变；未经对照的相关性不写成因果。
  • 实际用途：把主判断转成当前可执行的动作、停止条件或下一项验证。负责人、预算和期限按已知材料填写；不为完成模板发明业务事实。
  • 适用范围：保留各方法自己的产出与失效条件。表达教程不承担业务结论；未核定资料不自动推荐；临床条目按其专项范围交付知识、行为应对或就诊准备。

05 · 准备

开始前，准备什么

最小输入

  • 可稳定随机分配的对象
  • 预先定义的主指标和护栏
  • 样本量与观察期依据
  • 完整事件数据及样本比例检查

应留下的产出

  • 效应估计；置信区间；护栏结果；上线/迭代/停止决策

06 · 用法

按顺序完成 5 步

  1. 预注册
  2. 随机分配
  3. 检查 SRM 与埋点
  4. 估计效应和不确定性
  5. 按规则决策

07 · 案例

Microsoft ExP：设备标识缺陷触发分流告警

真实工程案例 · 实验平台报告

公开材料

Microsoft 公开报告一次 2020 年设备标识问题：重复旧标识进入处理组，新标识进入对照组，触发样本比例不匹配告警，团队修复并重启实验。

怎样读这个案例

先查分流与数据链路，再解释转化差；看见 B 比 A 高，不足以跳过实验可信度检查。

证据边界

这是平台参与者的事故报告，未将其内部数据搬入本页。下方 1:1 与 3:1 条件为构造，不输出显著性结论。

案例来源：Alerting in Microsoft's Experimentation Platform

08 · 示例

把它放进一个具体场景

构造示例，非真实业务记录。

问题

构造 A、B 各分配 1,000 人，成功 100 与 120 人；计划是 1:1 随机分配。

已有材料

A：10%；B：12%；观察差：2 个百分点

目前能判断

观察差为正，仍不足以单独判定 B 有稳定增益。

下一步核对

检查置信区间、预定检验和护栏指标；不要只看点估计。

09 · 边界

什么情况下，不宜直接套用

  • 提前窥视后任意停止会扭曲错误率；预先设计的序贯检验可以使用。用户间干扰、埋点错误、实验外迁移与长期效应必须另查。

10 · 计算

计算关系

ATE = treatment mean - control mean

11 · 练习

用一道题检查理解

B 组转化更高，就可以宣布获胜吗？ 以下哪种处理更符合本页的边界？

12 · 实作

把判断写成可复查的记录

为一个小改动写预注册卡：分流单位、主指标、护栏、样本目标、停止规则和排除规则。

  • 检查置信区间、预定检验和护栏指标；不要只看点估计。
  • 保留实验输入与公式口径，改变一个条件后解释判断为什么改变；未知量不要填成零。

记录字段：假设｜随机化单位｜分配比｜主指标｜护栏｜窗口｜样本｜停止规则

完成后，核对参考要点

本页构造场景中：观察差为正，仍不足以单独判定 B 有稳定增益。 条件改成“分配比例异常”后：比例异常未解释前，应暂停解释效果差异。 核对随机分配日志和漏报；样本比例检验与效果检验是两项工作。

13 · 应用

把这个方法交给 Agent

写下当前问题，生成包含方法编号、材料清单和边界的请求。内容只在当前页面处理。

查看 Agent 接口 →

15 · 出处

出处与证据范围

随机分配在设计与数据质量条件成立时可估计本次干预的平均因果效应。Microsoft 实验平台研究说明随机化、样本比例失配与指标误判问题。

  1. Experimentation Platform

    可信线上随机实验、护栏和数据质量。

    本轮查阅公开正文／原始文件

  2. Alerting in Microsoft's Experimentation Platform

    样本比例失配等实验数据质量检查。

    前次核查来源；本轮只对关键归属与使用依据复核，未逐页重读全部全文

本地材料定位

ice-year-end-s046

材料中可定位；具体方法步骤是本轮操作化整理，非原文逐字复述

名称与整理说明

使用可追溯参考中的通行术语；不主张存在唯一提出者或唯一中文译法。

操作化整理；原始来源用于约束，不声称逐字复述或已验证效果

登记版本 2026-10-25.3。来源状态沿用登记表，不表示所有来源均在本次重新核验。