今日判断增长系统最容易高估的,不是某一次实验,而是把所有“赢过的实验”加起来,误以为它们就是产品真正创造的长期增量。短期指标会回落,多个动作会互相替代,系统又天然只挑赢家;所以 AI 把实验速度提高后,我们更需要保留一个 Counterfactual(反事实):如果这些动作都没发生,结果本来会怎样?对 Momcozy APP,短期实验负责判断“这一步有没有用”,长…
- 🧩 Incrementality——发生在动作之后,不等于由动作造成
- 📡 Airbnb:只把显著赢家相加,会遭遇 Winner’s Curse
- 📡 GrowthBook:长期留出测的是“产品演进总和”,不是又一个小实验
- 🎧 Archie Abrams / Shopify 为什么保留跨年的实验留出