1973 年,UC Berkeley 被控性别歧视。数据看起来铁证如山:整体录取率,男性 44%,女性 35%。
但统计学家 Peter Bickel 逐科系拆解后发现:在 85 个科系里,大多数科系反而偏向女性录取。差距出在哪?女性倾向申请录取率低的科系(人文、社科),男性倾向申请录取率高的科系(工程、物理)。
整体数字说男性占优。分组数字说没有歧视。两个结论完全相反。
这就是辛普森悖论(Simpson's Paradox):**整体数据呈现一个趋势,但分组后每组都呈现相反趋势。**
这个悖论不是学术奇观。它每天都在餐饮和旅宿业的真实数据里发生。而你每一次看着"整体评分"做决策,都可能正在掉入同一个陷阱。
你的 4.5 → 4.2 也一样。整体分数在降。但如果你把午餐时段和晚餐时段分开看,晚餐的评分其实在上升——从 4.5 爬到了 4.7,因为你上个月换了新的主厨,晚餐品质明显提升。是午餐的新人流拉低了整体均分——而午餐的人流增加,正是你营收增长 22% 的原因。
整体数字告诉你"退步"。分组数字告诉你"增长"。你一直在看错的那个。
这不是你的错。人类大脑天然倾向于看整体数字——它在演化上更有效率。但数据分析的价值,恰恰在于克服直觉,问一个反直觉的问题:"如果我拆开来看,故事还是一样吗?"
但统计学家 Peter Bickel 逐科系拆解后发现:在 85 个科系里,大多数科系反而偏向女性录取。差距出在哪?女性倾向申请录取率低的科系(人文、社科),男性倾向申请录取率高的科系(工程、物理)。
整体数字说男性占优。分组数字说没有歧视。两个结论完全相反。
这就是辛普森悖论(Simpson's Paradox):**整体数据呈现一个趋势,但分组后每组都呈现相反趋势。**
这个悖论不是学术奇观。它每天都在餐饮和旅宿业的真实数据里发生。而你每一次看着"整体评分"做决策,都可能正在掉入同一个陷阱。
你的 4.5 → 4.2 也一样。整体分数在降。但如果你把午餐时段和晚餐时段分开看,晚餐的评分其实在上升——从 4.5 爬到了 4.7,因为你上个月换了新的主厨,晚餐品质明显提升。是午餐的新人流拉低了整体均分——而午餐的人流增加,正是你营收增长 22% 的原因。
整体数字告诉你"退步"。分组数字告诉你"增长"。你一直在看错的那个。
这不是你的错。人类大脑天然倾向于看整体数字——它在演化上更有效率。但数据分析的价值,恰恰在于克服直觉,问一个反直觉的问题:"如果我拆开来看,故事还是一样吗?"
应用案例