しんぷそんのぱらどっくす
シンプソンのパラドックス
別名・関連する言い方:Simpson's paradox
組ごとの差と、合わせた全体の差とで、向きが食い違うことがある、という割合の性質です。
なぜ「数学・論理」なのか
全体の割合は、組ごとの割合を組の人数で重みを付けて平均したものなので、比べる2つの側で人数の多い組が違うと、全体の差は組ごとの差と別の向きになることがあります。シンプソン (1951) は、組ごとの関連の強さが同じとき、合わせた表でも同じ強さになるのは、合わせて消す分類(性別など)が、比べる2つの分類の一方の各区分の中で、もう一方とかかわりの無いとき(たとえば生存した人の中でも死亡した人の中でも、性別と治療の有無にかかわりが無いとき)に限られることを示しました。これは、全体で見てかかわりが無いこととは別の条件です。実験で確かめる心理の効果ではなく、割合の計算から言える性質なので、このラベルにしています。
「数学・論理」を付ける条件:定理・近似・統計の性質として導けるもの。ラベルの一覧と定義
原典の一文と、広まった形
原典
This time we say that there is a positive association between treatment and survival both among males and among females; but if we combine the tables we again find that there is no association between treatment and survival in the combined population.
訳:今度は、男性の中でも女性の中でも、治療と生存に正の関連があると言える。しかし表を合わせると、合わせた集団では、やはり治療と生存に関連が無い。
Simpson (1951) The Interpretation of Interaction in Contingency Tables, p.241 (第10節)。論文の全文 (JSTOR の PDF の写し) のページの画像で照合。
広まった形
全体の数字で比べれば、データが多いぶん正しい答えが出る。内訳と全体で結論が違うのは、計算の間違いだ。
図で見る
- 前半:Aは10打数4安打(.400)、Bは100打数35安打(.350)
- 後半:Aは100打数25安打(.250)、Bは10打数2安打(.200)
- 通算:Aは110打数29安打(.264)、Bは110打数37安打(.336)
- 通算の打率は、打数の多い段の打率に近くなる
数は説明のための仮の数で、実在の選手の記録ではありません。棒の長さは打率に比例します。かっこの中は打数です。
図はこの事典で描いたものです。
シンプソンの1951年の例
E・H・シンプソンは1951年の論文で、3つの分類で数を分けた2×2×2の表の読み方を調べました。シンプソン自身、2×2の表を合わせる危険はよく知られているとしてケンドールの本(1945年)を挙げ、そのうえで、さらに奇妙な作り物の例を示しました。
赤ちゃんが遊んでいたトランプの札を、赤か黒か、絵札かどうか、汚れているかどうかで分けると、汚れた札の中でもきれいな札の中でも、赤と絵札でない札に正の関連があるのに、合わせた表では関連が無い、という例です。シンプソンは、同じ確率の表の名前を、男性か女性か、治療ありかなしか、生存か死亡かに変えました。52を分母にした数で、男性は治療なしの7のうち4が生存(約57%)、治療ありの13のうち8が生存(約62%)、女性は治療なしの5のうち2(40%)、治療ありの27のうち12(約44%)が生存です。男性でも女性でも治療ありの生存の割合が高いのに、合わせると、治療なしの12のうち6、治療ありの40のうち20で、どちらも50%になります。
バークレーの大学院の応募
Bickel ほか (1975) は、カリフォルニア大学バークレー校の大学院の、1973年秋の応募12,763件を調べました。全体では、男性8,442人の約44%、女性4,321人の約35%が合格し、男女の合格の機会が同じだとしたときより、女性の合格が277人少ない計算でした。ところが学部ごとに見ると、偏りのはっきりした学部は少なく、女性に有利な学部と男性に有利な学部が同じくらいありました。著者らは、女性の応募者の割合は入るのが難しい学部で高く、入りやすい学部で低いことを示し、データを正しくまとめると、女性に有利な小さな偏りが見られたと書いています。
なぜ入れ替わるのか
全体の割合は、組ごとの割合を、組の数で重みを付けて平均したものです。比べる2つの側で数の多い組が違うと、全体の割合は、それぞれ数の多い組の割合に近くなります。身近な例の打率では、Aは打率の低い後半に、Bは打率の高い前半に打数が多かったため、通算の順が入れ替わりました。
使うときの注意
割合を比べるときは、全体の数字だけでなく、組ごとの割合と数を並べて見ることが大切です。ただし、組に分ければいつも正しいとも限りません。どちらの見方を使うかは、何を数えた表かで決まります。
身近な例
2人の打者AとBの打率を、シーズンの前半と後半に分けて比べたとします(仮の数)。Aは前半10打数4安打(.400)・後半100打数25安打(.250)、Bは前半100打数35安打(.350)・後半10打数2安打(.200)で、前半も後半もAのほうが打率が高くなっています。ところが通算すると、Aは110打数29安打(.264)、Bは110打数37安打(.336)で、Bのほうが高くなります。Aは打率の低い後半に打数が多く、Bは打率の高い前半に打数が多いためです。全体の数字だけで比べる前に、組ごとの割合と、組ごとの数(打数)の配分を並べて見ると、入れ替わりに気づけます。
よくある誤解
- 誤解
- 全体を合わせた数字のほうがデータが多いので、いつも正しい。
- 実際は
- Bickel ほか (1975) は、カリフォルニア大学バークレー校の大学院の1973年秋の応募12,763件で、男性の約44%、女性の約35%が合格していたのに、学部ごとに見ると、女性に不利な偏りのはっきりした学部は少なかったことを示しました。女性は入るのが難しい学部に多く応募していたためで、著者らは、このように単純に合わせるのは誤解を招くと書いています。
- 誤解
- 組に分けた数字のほうが、いつも正しい。
- 実際は
- シンプソン (1951) は、同じ確率の表を、汚れたトランプの札の例として読むと、合わせた表の「色と絵札かどうかに関連が無い」が分別のある答えになり、治療と生存の例として読むと、組ごとの「男性でも女性でも治療が役に立つ」が分別のある答えになると論じました。どちらの見方を使うかは、数だけでは決まらず、何を数えた表かで変わります。
- 誤解
- シンプソンが1951年に初めてこの現象を見つけた。
- 実際は
- シンプソン自身が、2×2の表を合わせる危険はよく知られているとして、ケンドールの本(1945年)を挙げています。シンプソンが示したのは、組ごとに同じ向きの関連があっても、合わせると関連が消える作り物の例でした。「シンプソンのパラドックス」という呼び名について、Bickel ほか (1975) は「この文脈ではシンプソンのものと呼ばれることがある」と書き、1972年のブライスの論文を挙げています。
出典
- 原典Simpson, E. H.(1951)「The Interpretation of Interaction in Contingency Tables」Journal of the Royal Statistical Society, Series B, 13(2), pp. 238–241。https://
www.jstor.org/ stable/ 2984065 - 実際のデータの例Bickel, P. J., Hammel, E. A., & O'Connell, J. W.(1975)「Sex Bias in Graduate Admissions: Data from Berkeley」Science, 187(4175), pp. 398–404。https://
doi.org/10.1126/ science.187.4175.398