AI 能替你跑实验吗？能筛，不能定
副标题：从 RCT 到 s-RCT：把实验从「省着跑」变成「跑得值」 作者：zhanbo · 2026-08-21 声明：本文为独立行业观察，基于公开资料整理，不代表任何雇主或客户观点；本工作室不承接游戏（含手游 / 休闲 / 中重度）行业相关咨询。 tl;dr（3 条） 每个实验都有流量和时间成本，但是实验成功率却越来越低——s-RCT 用 AI agent 先模拟、先筛，把流量省给值得的实验。 Amazon 论文的实证：agent 模拟的原始方向信号偏弱（符号重合 0.70 没明显超过无信息基线），校准后才把误差降 77×——能筛，不能定。 实验效率的第一步不是换工具，是检查你的漏斗：历史实验库有没有、AI 会不会泛化假设、拟合指标建没建（回复「实验效率」拿诊断）。 一、开题：AI 能替我跑实验吗 「AI 能替我跑实验吗？」 增长团队最近被问得最多的，就是这个问题。 问的人手里通常攒着一叠实验报告：有的没跑完就被砍，有的跑完了结论是「无显著差异」。真正变成决策的，一个季度下来数得过来。 不是团队不努力。是实验这件事本身在变贵——每个实验都要真实流量、要排期、要工程师陪跑，而这些成本，一半花在了注定没结论的实验上。 另一面，想法的供给在爆炸。以前一周想三个实验，现在 AI 一天能给你三十个。流量和工期没变，候选池却大了十倍，实验成功率自然被稀释。这不是哪家公司的管理问题，是整个行业的漏斗问题。 二、从 RCT 到 s-RCT：效率的漏斗 实验效率的瓶颈，已经从「能不能跑」变成了「值不值得跑」。 过去十年，我们把 RCT 当作金标准：随机分组、真实流量、统计显著，一切都对。但金标准的前提是流量够、工期够、候选少。当候选变多、流量变贵，金标准就变成了奢侈品——不是不该用，是没那么多预算给每个想法都用一遍。 s-RCT（Simulated RCT，模拟随机对照试验）就是冲这个错配来的。Amazon 的两位研究者（Stefan Hut、Lorenzo Masoero，8/13 更新论文）提出：让 AI agent 拿着用户的「行为画像」和「干预描述」，在投入真实流量之前，先模拟一遍 A/B 结果，把明显没戏的候选筛掉。 把流程拆成四段： 历史实验库沉淀 → AI 泛化出假设 → AI 收敛掉弱候选 → 高价值的进真实 A/B 前两段是「库」和「生成」：历史实验库沉淀每次实验的结论，AI 从里面学模式、批量泛化出新假设。第三段是 s-RCT 的主场：agent 模拟结果，做候选的收敛和排序。第四段，只有排在前面的高价值候选，才拿到真实流量跑 RCT。 ...