增长决策可信度诊断

平台用 AI 优化匹配，用 Agent 提升你在它后台里的操作效率——但这些智能都长在平台的墙里面。跨出墙头，你得有自己的一层。 作者：zhanbo · 2026-09-09 声明：本文为独立行业观察 / 独立技术实践，基于公开资料整理，不代表任何雇主或客户观点。 tl;dr 广告平台的 AI 投入方向一直很清楚：对内，用 AI 优化广告匹配——决定谁看到这条广告；对外，用 Agent 提升广告主在自家后台内的操作效率。这两件事平台都会越做越好，但它们有一个共同边界：只在自家平台的墙内生效，且优化目标天然对齐平台自己的收入。 广告主的真实战场却是跨平台、多渠道的。一个账户同时开着几家媒体，每一家都有自己的"智能投放"，每一家的智能都只对自己平台的钱包负责。于是广告主侧必然要长出自己的一层：聚合投放（一个入口管所有平台的动作和数据）→ 独立归因（跨平台的账算得清）→ 投放策略管理（预算怎么分、何时止损放量，规则在自己手里）→ 智能投放 Agent（这一层自己会感知、提议、执行、学习）。 这不是"要不要做"的选择题，是分工演化的结果：平台越智能，广告主越需要一个跨平台、对齐自己生意目标、且自己可控的智能层。 这套系统从第一天起就按真实广告账户设计、在真实投放中迭代。构建过程中最核心的结论是：它的护城河不在模型，也不在连接器，在"信任结构"——跨平台数据归一、写动作分级审批、动作结果延迟回采、策略只学真实样本。少一样，广告主就不敢把账户交出来，Agent 也学不到真东西。 本文按业务需求 → 痛点 → 概念模型 → 技术架构 → 实现的顺序完整展开，包含十几个具体的工程取舍和理由。适合正在设计或评估"AI + 投放"系统的人收藏慢看。 一、业务需求：平台的智能，和广告主的智能，不是同一种智能 先把一个常见的误会拆掉。 很多人觉得，广告平台已经这么智能了——全托管 campaign、自动出价、自动扩量、自动生成素材——广告主再建一套"智能投放"是不是重复造轮子？ 不是。因为平台的 AI 从来只服务两件事： 对内，优化广告匹配：决定哪条广告展示给哪个人。这是平台收入引擎的核心，eCPM 竞价、点击率/转化率预估、探索与利用机制，全部围绕"平台生态的长期变现效率"设计。 对外，提升广告主在自家后台内的操作效率：自动托管、智能建议、对话式助手、官方 MCP 接口——让你在它的体系里花钱花得更顺、更快、更少摩擦。 注意边界：这两件事都只在单个平台的墙内生效，而且优化目标函数天然对齐平台自己的收入，不是广告主的利润。广告主面对的真实战场是另一个形状： 一个账户同时开着几家媒体，每家都有自己的一套"智能投放"，黑盒程度不一，建议互相矛盾； 预算总量是有限的，真正的决策不是"在 A 平台里怎么投"，而是"这一万元分给 A、B、C 各多少、什么节奏、按什么信号再平衡"； 平台报表里的转化是平台口径，跨平台去重、真实增量、回收周期，平台不会替你算——它们既没有动力，也没有彼此的数据； 投放经验（什么品类什么阶段用什么打法、什么信号可信、什么时候该逆着平台建议操作）散落在投手的脑子里和历史账户里，人一走就带走。 所以广告主侧必然要长出自己的一层。这不是"要不要做"的选择题，是分工演化推出来的，按依赖关系是四级台阶： 聚合投放：一个入口统一管理跨平台的计划、预算、出价、素材和报表，动作和数据先归一，结束"十个后台十套数"的状态； 独立归因与度量：跨平台账算得清——哪个渠道带来的是增量而不是平台自报的转化，LTV 回收按什么口径，这是后面一切策略的事实基础； 投放策略管理：预算分配规则、止损/放量阈值、素材轮换规则、平台建议的采信边界——把投手经验固化成可审计、可迭代、可复用的资产，而不是聊天记录里的手感； 智能投放 Agent：在以上三层之上，系统自己 7×24 感知异动、提出方案、在授权边界内执行、用真实结果复盘并改进策略。 顺序不能反。没有聚合，Agent 只能一个平台一个平台地当外挂；没有独立度量，Agent 学到的全是平台喂给它的自我评价；没有策略管理层，Agent 的每次决策都是一次性的，组织没有积累。Agent 是这层的最终形态，不是起点。 ...

副标题：从 RCT 到 s-RCT：把实验从「省着跑」变成「跑得值」 作者：zhanbo · 2026-08-21 声明：本文为独立行业观察，基于公开资料整理，不代表任何雇主或客户观点。 tl;dr（3 条） 每个实验都有流量和时间成本，但是实验成功率却越来越低——s-RCT 用 AI agent 先模拟、先筛，把流量省给值得的实验。 Amazon 论文的实证：agent 模拟的原始方向信号偏弱（符号重合 0.70 没明显超过无信息基线），校准后才把误差降 77×——能筛，不能定。 实验效率的第一步不是换工具，是检查你的漏斗：历史实验库有没有、AI 会不会泛化假设、拟合指标建没建（回复「实验效率」拿诊断）。 一、开题：AI 能替我跑实验吗 「AI 能替我跑实验吗？」 增长团队最近被问得最多的，就是这个问题。 问的人手里通常攒着一叠实验报告：有的没跑完就被砍，有的跑完了结论是「无显著差异」。真正变成决策的，一个季度下来数得过来。 不是团队不努力。是实验这件事本身在变贵——每个实验都要真实流量、要排期、要工程师陪跑，而这些成本，一半花在了注定没结论的实验上。 另一面，想法的供给在爆炸。以前一周想三个实验，现在 AI 一天能给你三十个。流量和工期没变，候选池却大了十倍，实验成功率自然被稀释。这不是哪家公司的管理问题，是整个行业的漏斗问题。 二、从 RCT 到 s-RCT：效率的漏斗 实验效率的瓶颈，已经从「能不能跑」变成了「值不值得跑」。 过去十年，我们把 RCT 当作金标准：随机分组、真实流量、统计显著，一切都对。但金标准的前提是流量够、工期够、候选少。当候选变多、流量变贵，金标准就变成了奢侈品——不是不该用，是没那么多预算给每个想法都用一遍。 s-RCT（Simulated RCT，模拟随机对照试验）就是冲这个错配来的。Amazon 的两位研究者（Stefan Hut、Lorenzo Masoero，8/13 更新论文）提出：让 AI agent 拿着用户的「行为画像」和「干预描述」，在投入真实流量之前，先模拟一遍 A/B 结果，把明显没戏的候选筛掉。 把流程拆成四段： 历史实验库沉淀 → AI 泛化出假设 → AI 收敛掉弱候选 → 高价值的进真实 A/B 前两段是「库」和「生成」：历史实验库沉淀每次实验的结论，AI 从里面学模式、批量泛化出新假设。第三段是 s-RCT 的主场：agent 模拟结果，做候选的收敛和排序。第四段，只有排在前面的高价值候选，才拿到真实流量跑 RCT。 论文在 67 个电商产品页的营销创意 A/B 测试上做回测（横幅、文案、图片变体，指标是点击率）。结果比较克制：现成基础模型做引擎，符号重合 0.70——但论文自己指出，这没明显超过「全预测为正」这类无信息基线；两阶段校准后，预测误差才降约 77 倍（16 个实验子集上）；被试内设计（同一个 agent 同时看两组），标准误再降 2.4 倍。 ...

需求是"看清每笔预算"，验收却是"这条 campaign 的 ROAS"——错配，是 MMM 项目死亡的第一推手。 作者：zhanbo · 2026-08-07 声明：本文为独立行业观察与通用测量方法论，基于公开资料整理，不代表任何雇主或客户观点。 开篇：那笔进了抽屉的预算 “帮我看清每笔预算到底带来多少回报。” 这是几乎每个 CMO 找我时说的第一句话。同行（包括早年的我）下意识的反应都是：上 MMM（Marketing Mix Modeling，营销组合建模）。 三个月后，一份几十页的报告交付：边际 ROI 曲线、渠道贡献分解、最优预算分配建议。客户点头说"很有启发"。然后——报告进抽屉，预算照旧，明年再花几十万重做一遍。 这不是段子。这是过去十年营销分析行业最普遍的真实图景。MMM 项目交付率不低，采用率极低。 模型跑出来了，决策没发生。 问题不在模型，在我们用错了问题框。 一、五个典型死法：都死于同一类错配 把失败现象倒推，根因只有一类——期望与能力的错配。具体有五种姿势。 1. 期望错配（最大死因） 老板要的是"这条 campaign 的 ROAS 多少"，MMM 给的是"品牌和效果整体怎么组合最优"。MMM 在周级聚合层跑回归，根本看不到单条 campaign。拿聚合模型去答用户级问题，等于拿望远镜看细胞——看不清，于是判"模型没用"。 2. 数据地基没打 建的是 spend（花费） 而非 impression（触达）：MMM 的自变量应该是媒体权重，不是美元。CPM 一变，spend 和效果就错位，系数算反。 序列太短：稳健 MMM 要 104 周（两年）周级数据。很多团队跑 6 个月就建模，噪声吃掉信号。 共线性 / 无变异：所有渠道常年 always-on、同涨同跌、从不关停——模型在数学上无法识别各自系数，出来的数字纯靠先验，等于编。 3. 无校准（相关性当因果） MMM 系数是相关性。没有 geo holdout 实验当 ground truth，它就是"看起来科学的相关性幻觉"。Stella MMM 的基准很直白：未校准 MMM 前向预测精度 87%，用增量实验结果当贝叶斯先验回灌后到 95%——这 8 个点就是 CFO 信不信你的差别。 ...

ChinaJoy 2026 刚闭幕。AgentOS 集中亮相，执行层正在被平台吞噬——但同时有三件事变贵了：概念供给、度量纪律、护栏工程。顾问的稀缺价值，恰好长在这三件事上。 作者：zhanbo · 2026-08-05 tl;dr ChinaJoy 2026 把一个事实摆到了台面上：Marvy 2.0 把 3 人 3 天的市场洞察压到 20 分钟 5 美元，Liftoff Cortex 每秒 10 亿次预测筛高价值用户——执行层正在被 Agent 平台化吞噬。 但执行被吞噬的同时，有三件事变贵了，而且是 Agent 自己解决不了的：概念供给、度量纪律、护栏工程。 这三件事，恰好是"专家指导层"顾问在 Agentic 时代卖的东西。不是卖执行、不是卖 SaaS、不是卖 prompt，是卖问题定义、卖度量纪律、卖护栏工程。 如果你正在建 Agent、买 Agent、或者被 Agent 替代焦虑困扰，这篇文章给你一个判断框架。 一、ChinaJoy 结束了，但留下一个被回避的问题 今年 ChinaJoy（7/31–8/3）最密集的信号不是新游戏，是一堆 AgentOS： 飞书深诺 Marvy 2.0：5 个智能体（市场洞察 / 数据分析 / 智能创意 / 媒介策略 / 智能投放），把传统 3 人 3 天的全球市场洞察报告压到 20 分钟、5 美元 Liftoff Cortex：神经网络每秒 10 亿次预测，围绕长留与付费筛高价值用户 游族：AI 素材参与度 70–80%，本地化翻译成本累计 -80% 全国首个游戏出海公共服务平台同期在上海上线 叠加 ChinaJoy 同一周的行业数据：Sensor Tower H1 报告显示，AppLovin MAX 与 AdMob 合计吃掉约 2/3 的游戏广告收入，全球下载量同比 -12%，CPI 却在持续走高。 ...

广告平台越来越"聪明",MMP 越做越深,代投模式被替代。UA 从微操进入策略和创意时代——买方需要一条自己的路,把数据主权握回自己手里。 作者:zhanbo · 2026-07-29 tl;dr UA 从微观操作时代进入了策略和创意时代:投手的手动优化空间越来越小,数据的主权归属却越来越重要。 三个正在发生的结构性变化——广告平台一键投放成默认、MMP 从归因工具向数据产品公司演化、代投/代理/SaaS 三种模式同时被冲击——共同把买方推向一个新的十字路口。 我的判断:Inhouse 是买方的最优解。理由有四:数据自主、数据深度应用、策略灵活性、AI 时代的复利。 我把这三重门槛的解法沉淀成了一套可交付方案——Inhouse UA 数据底座与 UA-Monitor 建设。8-12 周 Phase 1、12-24 周 Phase 2、24+ 周 Phase 3,分阶段推进,底座 own 在客户,不做 lock-in。 邮件 zanhe@139.com 或扫码加微信,主题写 “UA底座” 获取完整方案 PDF;主题写 “UA技术” 获取技术细节 Solution PDF。 开篇:一个正在被回避的问题 最近在跟几个出海投放团队的 CGO 和 UA Lead 聊天时,反复探讨同一个问题: “广告平台越来越聪明,Meta 上了 Advantage+、Google 上了 PMax、TikTok 上了 Smart+,我们投手每天在做什么?” 再深聊一层: “MMP 也越做越深,AppsFlyer 已经从归因平台变成一家数据产品公司,那我们自己的数据团队,还有什么价值?” 这两个问题的背后,是同一件事——UA 从微观操作时代进入了策略和创意时代。 而这件事对买方最直接的冲击是:投手的手动优化空间越来越小,数据的主权归属却越来越重要。 如果这一步走错,接下来 12-24 个月,你会失去两样东西:议价权 和 数据资产。 一、三个正在发生的结构性变化 变化 1:广告平台一键投放能力成为默认 数一下这半年的产品动作: ...

三个 Studio 的实验复盘:广度、深度、精度,对应三类增长瓶颈——以及你怎么拿到同样的增长红利。 作者:zhanbo · 2026-07-15 tl;dr 我近距离参与过三个出海 Studio 的实验平台建设,他们从实验里拿到的,不是某一次优化,是把不确定性变成可复利增长的组织能力。 广度、深度、精度——三种实验红利对应三类增长瓶颈:验证太慢、流量不够、结论不可信。 如果你正卡在实验平台建设、或者跑了实验却拿不到真实增长,可以邮件 zanhe@139.com 交流,主题写"实验红利"。 一、连续两年全球下载第一,靠的不是运气 一款 2022 年上线的方块消除游戏,2024、2025 连续两年拿下全球手游下载榜第一,2025 年一年下载 3.68 亿次,累计超 8 亿,月活过 3 亿。纯靠应用内广告变现,月流水千万美元级。 它的开发商对媒体只说过一句很朴素的话:任何要改动的地方,都会先做 A/B 测试,确认不会伤到这个庞大的用户盘,才真正上线。(数据来源:AppMagic / mobilegamer 2025 年度下载榜) 连续两年第一,不可能是运气。运气不会重复。能重复的,是一套把"改一下试试"变成"可信决策"的机制。 这几年我近距离参与过三个出海 Studio 的实验能力建设,从平台选型一直到交付落地。今天把这三段复盘摊开,讲一件事:这些团队从实验里,到底拿到了什么。 (下面三个案例都做了脱敏,用 Alpha / Beta / Gamma 代号。) 二、三个 Studio,三种实验红利 Beta:广度——把"赛马"变成一条验证流水线。 Beta 是一家老牌出海厂,打法是海量试新,一年能测十几款产品,每隔两三个月出一款新品。这种打法对实验能力的要求不是"深",是"快而准"——能不能用最小成本判断一个玩法、一个买量素材、一个变现节奏值不值得加码。我参与了他们的实验平台选型,帮他们先想清楚"这平台到底要解决哪类验证"。对这种 Studio,实验红利是广度:把老板拍脑袋的赛马,变成一条标准化、可复用的验证流水线。 Alpha:深度——一款爆品,靠上千并发实验持续打磨。 Alpha 是另一个极端:不铺量,就一款产品,但要把它打磨到全球第一。最初也买了第三方 SaaS,后来因为实验参数和发版耦合太重、成本高,转向内部自建——但自建的分流只做到互斥桶,实验一多就撞车,流量根本不够分。我是后面作为顾问介入的,帮他们把流量框架从互斥桶升级到重叠实验,把并发顶到上千个实验同时跑,产品、算法、商业化实验并行。对这种 Studio,实验红利是深度:同样的流量,能验证的假设多了一个数量级。 Gamma:精度——从"能跑实验"到"实验结论可信"。 Gamma 是一家多品类的长线厂,数独、填色、麻将、拼图,每个细分都做到头部,靠的是长期稳定的迭代。我参与过他们实验平台的几次演进:2019 年那版 1.0 解决的是"分析方法",把实验数据算对;到 2021 年,讨论的核心已经变成 bias reduction——怎么把选择偏差、幸存者偏差、偷看数据这些让结论失真的东西剔掉。对这种 Studio,实验红利是精度:当你一年要做几百个实验,哪怕只有 0.5% 的假阳性,也够让你全量上线一堆其实没用的改动。 三、他们到底从实验里拿到了什么 把三段拼起来,答案就清楚了。他们拿到的从来不是"某一次优化涨了多少",是三样更底层的东西。 ...

选对平台，只解决了"用什么"；完成交付，才能回答"有没有拿到业务结果"。顾问不跟 SaaS 抢生意，也不跟技术团队抢活——在采购、自建、交付、拿结果的全过程里，提供专家经验和指引。 作者：zhanbo · 2026-07-13 tl;dr 两个 Studio 都采购过火山引擎 ABTester：一个项目我参与到选型，一个项目我补上了后续交付。它们恰好说明，顾问的价值不在于"卖平台"或"替研发写代码"，而在选型和交付两端提供专家指引，把工具转化为业务结果。 我推出了「实验平台落地诊断」和「发行平台提效诊断」，本季度限 2 家。邮件 zanhe@139.com 或扫码加微信，主题写"实验落地"或"发行提效"，帮你判断采购、自建、交付这条链上，专家经验应该补在哪一段。 两个 Studio，两种参与方式 2025 年，我先后接触了两个团队的实验能力建设项目。为保护客户信息，本文分别称其为 Beta Studio 和 Alpha Studio。 Beta：研发资源有限，选择 SaaS 快速起步 2025 年中，Beta 希望升级实验能力。 当时业务部门有明确需求，但缺少足够的专项研发资源。在内部自建与采购 SaaS 之间，团队最终选择了火山引擎 ABTester，希望借助成熟产品更快建立实验能力。厂商的行业影响力和已有案例，也是选型的重要因素。 我参与了前期咨询和选型讨论，但没有继续跟进后续交付，因此无法评价项目最终效果。 这段经历留下的核心问题是： 买到平台，只是确定了实验能力的技术载体，并不代表企业已经获得了实验能力。 选型结束后，仍有一系列问题需要解决： 业务数据和实验参数如何接入； 参数配置是否依赖软件版本发布； 指标口径和验收标准如何定义； 流量框架是否适合实际业务； 谁负责平台运营和实验复盘； 实验结论如何进入业务决策。 这些问题不会随着合同签署自动解决。 Alpha：有了自建分流，为什么仍然跑不快？ Alpha 在 2024 年上半年也采购了火山引擎 ABTester。由于实验参数与软件发版耦合较重，团队随后自建了分流能力。 但第一版只支持互斥桶。 互斥桶可以避免实验冲突，却会把流量切割成相互独立的区域。随着实验数量增加，可用流量很快成为瓶颈。平台虽然"能跑实验"，却难以支持产品、算法和商业化团队同时开展大量实验。 我是在这个阶段作为顾问参与项目的。 后续迭代中，团队引入了类似 Google 重叠实验基础设施的分层、分域和正交流量框架。只要实验修改的参数和影响范围不同，就可以在控制冲突的前提下共享流量。 升级之后，平台能够支持上千量级的实验并发，产品交互、算法和商业化实验得以大规模并行，并最终明显推动了北极星指标。 真正产生价值的不是"并发数字"本身，而是团队建立了一条完整链路： 业务假设 → 实验配置 → 并行验证 → 指标分析 → 上线或回滚 → 收益追踪 ...

优化师效率和买量 ROI，这两条曲线，能不能被一个 agent 同时拉起来？ 作者：zhanbo · 2026-07-11 声明：本文为个人业余时间的独立技术实践与方法论记录，全部代码、Skill、Prompt 均基于公开资料与个人环境搭建，不涉及任何雇主或客户的内部系统、数据、账户或商业秘密。 tl;dr 4 天从 0 到能自治的 ad-agent，我在 changelog 里写了 7 个版本、5 个 Phase——顺序对了才是工具，顺序错了都是 demo。 大多数团队卡在"要不要接大模型"，其实真正卡的地方根本不在模型——关键是你的问题，你给模型准备了哪些数据以及策略迭代的领域知识。 本文附 5 道 ad-agent 就绪度自测 + 一份 90 天路线图诊断（限 2 家）。 一、问题先行：优化师的一天，值不值得被 agent 接管 先说业务，再说 agent，不然一切都是空的。 获客投放团队里，优化师的日常长这样： 早上打开 Meta / Google / TikTok 三个后台，各抄一遍昨日 spend / installs / ROAS 打开归因平台（AppsFlyer / Adjust）再抄一遍 D1 / D7 ROI 打开 BI 或飞书表格核对，发现三份数据对不上——花半小时找 last-touch 和 incremental 的口径 中午看到某个 campaign CPI 飙了 30%，猜是素材疲劳还是竞价对手加价，打开素材库比对创意 下午调预算、换素材、跑 A/B——每一步都要在三个平台重复操作一次 一个团队 20 个 campaign 就够把一个优化师钉死在屏幕前。所以 ad-agent 不是一个"AI 概念题"，它要解决的是四件很土的事： ...

钛动科技递表港交所，82% 毛利率、38 亿应收账款、代投占绝大部分收入。这套模型在 Agentic UA 时代还站得住脚吗？ 作者：展博 / 2026-07-04 声明：本文为独立行业观察，基于公开招股书与公开报道整理，不代表任何雇主或客户观点，不构成投资建议，行业分析仅作为方法论示例。 tl;dr 82% 毛利率不是 AI 溢价，是会计口径：钛动的毛利率不能对标 Salesforce，它用净额法把媒体成本从营收里扣掉，剩下的"服务费"计为营收。研发投入占比不到 10%，员工里大量是优化师，本质仍是高杠杆的代投公司。 代理生态是媒体让渡的生存空间：Meta / Google / TikTok 给到代理商的返点、垫资额度、独家版位，是媒体在特定阶段的"分销红利"。这个空间正在被 Agentic UA 一步步收回。 代投模式会被 PMax / Advantage+ / Smart+ 逐级替代：广告主只需要给"预算 + 创意 + 转化信号"，campaign 结构、出价、版位、受众全交给媒体算法。代投团队"搭 campaign / 调出价"的核心工作量，正在归零。 国内买家的 SaaS 接受度天然低：数据无法联通、inhouse 数据不外流、决策链条深、ROI 无法证明——TTD 那套海外投放平台生态在国内跑不通，钛动/GatherOne/飞书深诺的 SaaS 收入占比大概率不到 10%。 inhouse 自建才是国内出海买量的终局：数据自主 + ROI 预估模型 + 跨媒体灵活路由，这三件事只能自己做。代投+SaaS 双轮驱动的故事，写在招股书里好看，但打不过一个中等规模品牌自建的发行平台。 一、先拆一下钛动这张财报 钛动 2026 年 2 月递表港交所，中金 + 摩根大通保荐。招股书里最抓眼球的数字是82% 毛利率。 媒体报道基本都把这个数字包装成"AI 技术溢价、高技术壁垒"。做过发行、做过代投的都知道这里有猫腻。 1.1 82% 毛利率是怎么算出来的 代投这个生意，客户付 $100 广告预算，你替他打给 Meta 花掉 $90，再赚一点服务费或返点。传统代理会把 $100 计成收入、$90 计成成本，毛利率 10%。 ...

同样在做 AB 测试，别人靠它持续迭代、增长一路向上，我们的实验却结果不可靠、推全就反转。问题往往不在平台，而在你没建之前就该想清楚的那几件事。 作者：展博 / 2026-06-22 tl;dr 竞对靠实验跑赢了，你也想做，但「实验结果不可靠、推全后效果反转、不知道该信哪个指标」——这些不是平台不够强，是实验体系没建对。 实验时涨、推全后反转，最常见的原因有三个：偷看数据提前停、只挑显著指标报、没看护栏指标。这三个坑和平台贵不贵没关系。 判断一个提升是否可信，不能只看 p<0.05，还要看效应量、护栏指标有没有掉、长期效应是否成立。 80% 的实验平台问题不是技术问题，是指标口径、流程、组织问题。 你以为缺的是工具，其实缺的是共识。 建平台之前，先花半天做个体检。 决策前花小钱搞清楚「值不值得建、该怎么建」，比拍脑袋投几十万、再发现方向错了，便宜太多。 一、你可能正被这几个问题困住 先不谈平台、不谈架构。我想先问你几个问题——如果你是增长、产品或者数据负责人，看看下面这些是不是你正在经历的： 「竞对靠实验跑出来了，我们也想做实验，但不知道从哪儿下手。」 看到对手用 AB 测试快速迭代、增长曲线一路上扬，你也想复制这套打法，可一落到自己团队，连「第一个实验该怎么设计」都说不清楚。 「我们的实验平台，结果好像不太可靠。」 平台是有了，可同一个实验，不同人看出来的结论不一样；今天说显著，明天又说不显著。你心里其实没底——这些数到底能不能信？ 「实验时看着涨，推全之后效果反转，或者根本没达到预期。」 这是最让人崩溃的一种。实验阶段明明指标涨了，信心满满全量上线，结果线上效果反转，甚至还不如不改。那当初那个「提升」，到底是真的，还是数据骗了你？ 「到底该看哪些指标？怎么判断一个提升是不是可信？」 一个实验看十几个指标，挑一个涨的报上去，算不算成功？p 值小于 0.05 就一定靠谱吗？留存没动、付费涨了，能推全吗？ 「说到底——我们的实验平台，建得到底对不对？」 花了钱、花了人，可越用越怀疑：是不是从一开始方向就错了？ 如果这些问题你中了一半以上，那我可以负责任地说：这些大概率不是「平台不够强」的问题，而是「实验体系没建对」的问题。 而后者，加再多机器、买再贵的 SaaS 也解决不了。 下面我们一个一个拆。 二、一个真实的场景：平台建好了，然后呢？ 先说一个我反复见到的场景，它正是上面那些问题的总和。 一家公司，老板拍板「我们要数据驱动」，于是数据团队花了三个月，搭了一个看起来很专业的实验平台：能分流、能看报表、能跑 AB。 然后呢？ 产品团队觉得「这玩意儿太麻烦，我直接上线不行吗」； 增长团队自己有一套买量看数的逻辑，不鸟这个平台； 数据团队辛辛苦苦建的东西，三个月后没人用，结论也没人信。 钱花了，平台有了，但增长没变快。 这不是个例。根据我的观察，有实验平台的团队里，大概 80% 都卡在「建了但没人用」这个状态。 更要命的是，这个坑很贵——你不是损失了搭平台的几十万，你损失的是「本可以用来验证增长假设的几个月时间」。 三、为什么会这样？因为大部分问题，根本不是技术问题 很多团队一想到「实验能力不行」，第一反应是「我们的工具不行，得建个更好的平台」。 这是最常见的误判。 先说结论：实验体系的问题，可以拆成四层，技术只是最浅的一层。 阻力层 典型表现 真相 工具层 「我们没有实验平台」「分流都做不了」 这是最容易解决的，花钱花人就能搞定 流程层 「实验做完就忘了」「没人写假设」「结论存哪了？」 工具再好，流程不通照样白搭 组织层 「数据团队建平台，产品团队不用，增长团队自己玩」 三权不清，谁都不为实验结果负责 文化层 「老板拍板，实验数据不算数」「失败的实验没人敢说」 最深的一层，建再好的平台也救不了 这里最关键的是：很多你以为的「技术问题」，其实是流程或组织问题。 ...