個人で作ったプロダクトなら、計測はシンプルだ。指標を決めて、A/Bテストして、勝った方を出す。それで十分に回る。何を最小限測ればいいかを押さえておけば、検証は軽く速い。
だが、同じやり方が、大規模になった途端に通じなくなる。ユーザーが数百万人規模になると、A/Bテストの「大前提」そのものが静かに崩れ、相関と因果が混ざり合い、代理指標が本物から乖離していく。いつ大規模体制へ移るかの、その先で待っているのが、この「計測が信用できなくなる」現実だ。
この記事は、その規模が計測を壊す非対称性を扱う。
A/Bテストは、ひとつの前提の上に立っている
そもそもA/Bテストがなぜ信用できるのか。それは、SUTVA（Stable Unit Treatment Value Assumption）という前提が成り立っているからだ。乱暴に言えば、「あるユーザーの結果は、自分がどちらの群に割り当てられたかだけで決まり、他のユーザーの割り当てには影響されない」という仮定である（Rubin の因果推論の枠組みで定式化されている）。
ユーザー同士が互いに影響しないなら、処置群と対照群を比べれば、機能の効果がきれいに取り出せる。個人や小規模のプロダクトでは、この前提はわりと成り立ちやすい。ユーザー密度が薄く、互いに干渉する場面が少ないからだ。
干渉が、その前提を破る
問題は、大規模特有の構造で、この前提が崩れることだ。ユーザー同士が干渉するプロダクトでは、処置群に加えた変化が、対照群にまで「漏れて」しまう。
たとえば、通話やメッセージのようなコミュニケーション機能。処置群のユーザーが新機能で快適に通話できれば、その相手（対照群かもしれない）の体験も変わる。出品者と落札者がいる両面マーケットでは、片方への変更が価格を通じてもう片方に伝わる。共同編集のツールでも、一人の体験は同じドキュメントを編むメンバー全員に波及する。Kohavi らの実務書でも、こうしたネットワーク効果や二面市場での「漏れ」は、オンライン実験の代表的な落とし穴として整理されている（Kohavi・Tang・Xu, 2020）。
干渉があると、素朴なA/Bテストの差分はバイアスを含む。干渉のもとで因果効果をどう定義し推定するかは、統計学でも独立した研究領域になっているほどだ（Hudgens & Halloran は干渉下の因果効果を形式的に定式化している, 2008）。
ここが、規模の非対称性だ。 個人開発では、ユーザー密度も市場のダイナミクスも薄く、干渉はほとんど起きない。大規模になって初めて、A/Bテストの土台が揺らぐ。
「相関がある」と「効く」は、違う
大規模のもう一つの落とし穴は、データが潤沢すぎることだ。観測データは山ほどあるが、その大半は交絡（別の要因が紛れ込むこと）と自己選択にまみれている。
「機能Xを使っているユーザーは、LTV（生涯価値）が高い」。よくある観測だ。だが、これは「Xを使わせればLTVが上がる」という意味ではない。もともと意欲の高いユーザーが、自分からXを使っているだけかもしれない（自己選択）。原因と結果が逆、あるいは第三の要因が両方を引き起こしている可能性がつねにある。
観測データの相関は、仮説の種であって、結論ではない。大規模では、この当たり前の区別が、データの豊かさに紛れて見えにくくなる。
代理指標の罠
さらに厄介なのが、本当に測りたいものほど、速く測れないことだ。長期の定着、LTV、複数サービスをまたぐ利用——こうした「真の成果」は、結果が出るまで何ヶ月もかかる。だから実務では、もっと早く動く代理指標でそれを近似する。
ここに罠がある。代理指標は、本物と乖離する。そして、指標として追い始めた瞬間に、ゲーミング（指標だけを満たす最適化）が始まる。「測定が目標になると、それは良い測定ではなくなる」——いわゆるグッドハートの法則だ。
私がよく使うレンズに、「測りにくいものを、動かせる代理指標に変換する」というものがある。これは検証を前に進める強力な道具だが、大規模では、この“変換”そのものが危険地帯になる。代理指標と真の成果のズレが、規模ゆえに大きな意思決定の誤りに化けるからだ。変換した指標が、本当に測りたいものを代表しているか——そこを問い続ける必要がある。
手法はある。だが、軽くない
では打つ手がないのかというと、そうではない。干渉に対しては、ユーザーを集団（クラスタ）やつながり（エゴネットワーク）の単位でランダム化する設計や、時間で切り替えるスイッチバック実験がある。観測データから因果を取り出す手法としては、Double/Debiased Machine Learning のような枠組みも提案されている（Chernozhukov ら, 2018）。
ただし、どれも難しく、ノイジーで、相応の専門性を要する。検出力は落ち、設計も解釈も慎重さがいる。個人開発には要らない。大規模では避けられない。 これもまた、規模の非対称性の現れだ。
PdMの要点
大規模プロダクトのPdMにとって大事なのは、手法に詳しくなること以上に、どの前提が壊れているかを見抜くことだ。
- このプロダクトに、ユーザー同士の干渉はあるか（SUTVAは成り立つか）。
- いま見ているのは相関か、因果か。自己選択は紛れていないか。
- その代理指標は、本当に測りたいものを代表しているか。ゲーミングの余地はないか。
そして——きれいに測れないと分かったときに、方向性の証拠で意思決定する勇気を持つこと。完璧な計測を待って動けなくなるより、限界を自覚したうえで、動くもので確かめる。
まとめ
個人開発の計測は軽い。測って、即決して、また試せる。大規模の計測は重い。A/Bテストの前提（SUTVA）が干渉で崩れ、相関と因果が混ざり、代理指標が乖離する。
- A/Bテストは「ユーザーが互いに干渉しない」という前提の上に立つ。
- 大規模の干渉（通話・両面マーケット・共同編集）は、その前提を破る。
- 観測の相関は仮説の種であって、結論ではない。
- 代理指標は本物と乖離し、ゲーミングされる（グッドハート）。
- 手法はあるが、軽くない。個人は要らず、大規模は避けられない。
両方を知るPdMは、現場ごとに、正しい計測の打ち手を選べる。「A/Bテストすればいい」で止まらないことが、規模の大きいプロダクトでは効いてくる。
参考・出典
- Guido W. Imbens・Donald B. Rubin・「Causal Inference for Statistics, Social, and Biomedical Sciences: An Introduction」（Cambridge University Press）・2015（SUTVA の定式化／ISBN 978-0-521-88588-1）
- M. G. Hudgens・M. E. Halloran・「Toward Causal Inference With Interference」・Journal of the American Statistical Association 103(482), 832–842・2008（DOI:10.1198/016214508000000292）
- Ron Kohavi・Diane Tang・Ya Xu・「Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing」（Cambridge University Press）・2020・https://www.cambridge.org/core/books/trustworthy-online-controlled-experiments/D97B26382EB0EB2DC2019A7A7B518F59
- Victor Chernozhukov ほか・「Double/debiased machine learning for treatment and structural parameters」・The Econometrics Journal 21(1), C1–C68・2018（DOI:10.1111/ectj.12097）
統計・因果推論の概念は、上記の一次文献に基づく概説です。実務での実験設計・因果推定は、最新の一次情報と専門家への確認を前提としてください。
同じテーマのナレッジや、すぐ使える無料テンプレもどうぞ。