シンプソンのパラドックス

1973年、UCバークレーが性差別の疑いで告発されました。データは鉄の如き証拠に見えました：全体の合格率は男性44%、女性35%。

しかし統計学者Peter Bickelが学部別に分解すると：85の学部のうち、大半の学部でむしろ女性の合格率が高かったのです。ギャップはどこから？女性は合格率の低い学部（人文・社会科学）に、男性は合格率の高い学部（工学・物理学）に応募する傾向があったのです。

全体の数字は男性優位を示しています。グループ別の数字は差別がないことを示しています。二つの結論は完全に相反します。

これがシンプソンのパラドックス（Simpson's Paradox）です：**全体のデータがあるトレンドを示すが、グループに分けると各グループで逆のトレンドが現れる。**

このパラドックスは学術的な見世物ではありません。毎日、飲食業や宿泊業のリアルなデータの中で起きています。そしてあなたが「全体の評価」を見て意思決定するたびに、同じ罠に陥る可能性があります。

あなたの4.5 → 4.2も同じです。全体のスコアは下がっています。しかしランチタイムとディナータイムを分けて見れば、ディナーの評価は実は上昇しています——先月シェフを変えて、ディナーの品質が明確に向上したため、4.5から4.7へ。ランチの新規客が全体の平均を引き下げたのです——そしてランチの客数増加こそが、売上22%成長の原因です。

全体の数字は「退歩」を告げています。グループ別の数字は「成長」を告げています。あなたはずっと違う方を見ていたのです。

これはあなたの過失ではありません。人間の脳は本能的に全体の数字を見る傾向があります——進化的により効率的だからです。しかしデータ分析の価値は、まさに直感を克服し、直感に反する問いを発することにあります：「分解して見たら、ストーリーは同じでしょうか？」