三个 Studio,三种实验红利:广度、深度、精度对应的三类增长瓶颈
三个 Studio 的实验复盘:广度、深度、精度,对应三类增长瓶颈——以及你怎么拿到同样的增长红利。 作者:zhanbo · 2026-07-15 tl;dr 我近距离参与过三个出海 Studio 的实验平台建设,他们从实验里拿到的,不是某一次优化,是把不确定性变成可复利增长的组织能力。 广度、深度、精度——三种实验红利对应三类增长瓶颈:验证太慢、流量不够、结论不可信。 如果你正卡在实验平台建设、或者跑了实验却拿不到真实增长,可以邮件 zanhe@139.com 交流,主题写"实验红利"。 一、连续两年全球下载第一,靠的不是运气 一款 2022 年上线的方块消除游戏,2024、2025 连续两年拿下全球手游下载榜第一,2025 年一年下载 3.68 亿次,累计超 8 亿,月活过 3 亿。纯靠应用内广告变现,月流水千万美元级。 它的开发商对媒体只说过一句很朴素的话:任何要改动的地方,都会先做 A/B 测试,确认不会伤到这个庞大的用户盘,才真正上线。(数据来源:AppMagic / mobilegamer 2025 年度下载榜) 连续两年第一,不可能是运气。运气不会重复。能重复的,是一套把"改一下试试"变成"可信决策"的机制。 这几年我近距离参与过三个出海 Studio 的实验能力建设,从平台选型一直到交付落地。今天把这三段复盘摊开,讲一件事:这些团队从实验里,到底拿到了什么。 (下面三个案例都做了脱敏,用 Alpha / Beta / Gamma 代号。) 二、三个 Studio,三种实验红利 Beta:广度——把"赛马"变成一条验证流水线。 Beta 是一家老牌出海厂,打法是海量试新,一年能测十几款产品,每隔两三个月出一款新品。这种打法对实验能力的要求不是"深",是"快而准"——能不能用最小成本判断一个玩法、一个买量素材、一个变现节奏值不值得加码。我参与了他们的实验平台选型,帮他们先想清楚"这平台到底要解决哪类验证"。对这种 Studio,实验红利是广度:把老板拍脑袋的赛马,变成一条标准化、可复用的验证流水线。 Alpha:深度——一款爆品,靠上千并发实验持续打磨。 Alpha 是另一个极端:不铺量,就一款产品,但要把它打磨到全球第一。最初也买了第三方 SaaS,后来因为实验参数和发版耦合太重、成本高,转向内部自建——但自建的分流只做到互斥桶,实验一多就撞车,流量根本不够分。我是后面作为顾问介入的,帮他们把流量框架从互斥桶升级到重叠实验,把并发顶到上千个实验同时跑,产品、算法、商业化实验并行。对这种 Studio,实验红利是深度:同样的流量,能验证的假设多了一个数量级。 Gamma:精度——从"能跑实验"到"实验结论可信"。 Gamma 是一家多品类的长线厂,数独、填色、麻将、拼图,每个细分都做到头部,靠的是长期稳定的迭代。我参与过他们实验平台的几次演进:2019 年那版 1.0 解决的是"分析方法",把实验数据算对;到 2021 年,讨论的核心已经变成 bias reduction——怎么把选择偏差、幸存者偏差、偷看数据这些让结论失真的东西剔掉。对这种 Studio,实验红利是精度:当你一年要做几百个实验,哪怕只有 0.5% 的假阳性,也够让你全量上线一堆其实没用的改动。 三、他们到底从实验里拿到了什么 把三段拼起来,答案就清楚了。他们拿到的从来不是"某一次优化涨了多少",是三样更底层的东西。 ...