← 統計検定テキスト 一覧

📊 対象級：準1級　|　重要度：B（標準）

要点（BLUF）

• 有意水準 $\alpha$ の検定を $m$ 回繰り返すと、すべて帰無仮説が真でも「少なくとも1つ誤って棄却する確率（FWER）」が $1-(1-\alpha)^m$ まで膨らむ。これが多重比較問題。
• 何を制御するかで2系統：FWER（1つでも誤棄却する確率）を抑えるか、FDR（棄却した中の偽陽性割合）を抑えるか。
• 代表的補正：Bonferroni（$\alpha/m$、保守的）・Holm（逐次棄却、Bonferroniより強い）・Tukey（全対比較）・Dunnett（対照群との比較）・Scheffé（任意の対比、最も保守的）・Benjamini-Hochberg（FDR制御）。

なぜ問題になるのか（多重性）

3群以上の平均を比べるとき、「A対B」「A対C」「B対C」と $t$ 検定を繰り返したくなります。ところが検定を繰り返すと、1回あたりの過誤確率は $\alpha$ のままでも、全体として「どれか1つでも誤って有意と判定する確率」がどんどん上がっていきます。これが多重比較問題（多重性, multiplicity）です。

直観的には「20回くじを引けば、確率1/20の当たりも一度くらい引いてしまう」のと同じです。各検定が単独では正しくても、束（family）として見ると偽陽性が紛れ込みやすくなる、ということです。

FWERの膨張を導出する

「すべての帰無仮説が真」という前提で、$m$ 個の検定がすべて互いに独立だとします。記号を置きます。

• 1回の検定で正しく帰無仮説を棄却しない（過誤を犯さない）確率 $= 1-\alpha$
• $m$ 回すべてで過誤を犯さない確率 $=(1-\alpha)^m$（独立なので積）

求めたいのは「少なくとも1回は誤って棄却してしまう確率」です。これは余事象（1回も過誤を犯さない）の補集合なので、

要するに：「1つも間違えない確率」を1から引けば「1つでも間違える確率」になる、という余事象の計算です。

具体的に $\alpha=0.05$ で $m$ を増やすと、この値は急速に1へ近づきます。

$m=20$ のとき $1-0.95^{20}=1-0.358=0.642$。本来5%に抑えたはずの第一種過誤が、束全体では64%まで膨らんでいます。これでは「有意」と言っても信用できません。多重比較の補正は、この膨張を抑えるための仕組みです。

注：上の式は検定が独立な場合の値です。検定どうしが正に相関していると実際のFWERはこれより小さくなりますが、いずれにせよ $\alpha$ より大きくなる点は変わりません。

2つの誤り率：FWER と FDR

「何を抑えたいのか」で制御対象が分かれます。$m$ 個の検定結果を次の表で整理します（$V$ が偽陽性の個数）。

• FWER（family-wise error rate, ファミリーワイズ過誤率）

要するに：「偽陽性を1個でも出してしまう確率」。1つの誤りも許さない、厳しい基準。

• FDR（false discovery rate, 偽発見率）

要するに：「有意と判定したもののうち、偽陽性が占める割合の期待値」。例えばFDR=0.1なら「有意とした100件のうち平均10件は偽物でも許す」。

違いの本質：FWERは「誤りの個数を0にしたい」、FDRは「誤りの割合を一定以下にしたい」。FWERのほうが厳しく、検定数が多いと検出力（本物を見つける力）が大きく落ちます。FDRは緩い分だけ検出力を保てるので、何千何万と検定する探索的研究（遺伝子発現解析など）で使われます。

graph TD
    A["多重に検定する状況"] --> B{"何を抑えたい?"}
    B -->|"偽陽性を1個も出したくない<br/>（確証的・少数比較）"| C["FWER制御"]
    B -->|"偽陽性の割合を一定以下に<br/>（探索的・多数比較）"| D["FDR制御"]
    C --> C1["Bonferroni / Holm<br/>Tukey / Dunnett / Scheffé"]
    D --> D1["Benjamini-Hochberg"]

FWERを制御する補正法

Bonferroni 補正

最も単純。各検定の有意水準を $\alpha/m$ に下げるだけ。$m=20$、$\alpha=0.05$ なら各検定は $0.0025$ で判定します（あるいは各 $p$ 値を $m$ 倍して $\alpha$ と比べても同じ）。

なぜFWERが $\alpha$ 以下になるか（ボンフェロニ不等式から導出）

事象 $A_i$ を「$i$ 番目の検定で（帰無が真なのに）誤って棄却する」とします。FWERは「どれかの $A_i$ が起きる確率」$P(\cup_{i=1}^{m} A_i)$ です。ここで確率の**劣加法性（ブール不等式 / ボンフェロニ不等式）**を使います。

要するに：「和集合の確率は、各確率の単純な足し算を超えない」。重なり（共通部分）がある分だけ左辺は小さくなるので、不等号で上から押さえられます。和集合の包除原理 $P(A\cup B)=P(A)+P(B)-P(A\cap B)$ で、引き算される共通部分が非負だから、と考えると分かりやすいです。

各検定の有意水準を $\alpha/m$ にすると $P(A_i)\le \alpha/m$。よって

要するに：1個あたりの過誤を $\alpha/m$ まで削っておけば、$m$ 個足し合わせても合計が $\alpha$ を超えない。これでFWERが $\alpha$ 以下に保証されます。

長所：仮定が要らない（検定の独立性すら不要。劣加法性は常に成り立つ）。どんな検定の組にも使える万能性。 短所：保守的すぎる。不等式で上から押さえているだけなので、$m$ が大きいと閾値 $\alpha/m$ が極端に小さくなり、本物の差を見逃しやすくなる（検出力が低下）。

Holm 法（逐次棄却型 / step-down）

Bonferroniの弱点（一律に $\alpha/m$ で削る無駄）を改善した方法。FWERを $\alpha$ 以下に保証したまま、Bonferroniより必ず検出力が高い（一様により強力）。手順は次の通り。

1. $m$ 個の $p$ 値を小さい順に並べる：$p_{(1)}\le p_{(2)}\le\cdots\le p_{(m)}$。
2. $j$ 番目（小さいほうから）の閾値を $\dfrac{\alpha}{m-j+1}$ とする。
3. $j=1$ から順に $p_{(j)}\le \dfrac{\alpha}{m-j+1}$ かを調べる。満たす限り棄却し次へ進む。
4. 初めて満たさなくなった時点で停止し、それ以降（$p_{(j)}$ 以上）はすべて棄却しない。

最初の検定の閾値は $\alpha/m$ でBonferroniと同じですが、棄却が進むにつれ分母が $m-1,\,m-2,\dots$ と小さくなり閾値が緩くなっていきます。だからBonferroniで棄却できたものは必ず棄却でき、加えて棄却できるものが増えうる。それでもFWERは $\alpha$ 以下に保たれます（証明は逐次的に最初の偽棄却が起きる確率を押さえる）。

要するに：Bonferroniが「全員に同じ厳しい関門」を課すのに対し、Holmは「最初だけ厳しく、通過するごとに関門を緩める」。これで検出力を取り戻しつつ、誤りの保証はそのまま。

Tukey の HSD（全対比較）

3群以上ですべてのペア（全対比較, all pairwise）を比べる定番。正規性・等分散を仮定し、検定統計量に**スチューデント化範囲分布（studentized range distribution, $q$ 分布）**を用います。$q$ は「群平均の最大値と最小値の差を、群内のばらつきで標準化した量」の分布で、$t$ 分布を「最大差」用に拡張したものと考えると分かりやすいです。

平均差 $\lvert \bar{x}_i-\bar{x}_j \rvert$ がしきい値（HSD = Honestly Significant Difference）を超えれば有意。全ペアを同時に評価してFWERを $\alpha$ に制御します。全ペアを見るなら、ペアごとにBonferroniするより効率的（検出力が高い）です。各群の標本サイズが等しいときFWERはちょうど $\alpha$、不揃いだと $\alpha$ 未満（やや保守的）になります。

Dunnett 法（対照群との比較）

1つの対照群（コントロール）と、各処理群を比べる専用。比較は「対照 vs 処理1」「対照 vs 処理2」…の $m-1$ 本だけで、処理群どうしは比べません。比較数が全対比較より少ない分、Tukeyより検出力が高くなります。用量反応試験（プラセボ vs 各用量）などで標準的に使われます。

Scheffé 法（任意の対比）

任意の線形対比（contrast）$\sum_i c_i \mu_i$（$\sum_i c_i=0$）すべてに対して同時に有意水準を制御する、最も一般的で最も保守的な方法。「群1と群2の平均 vs 群3」のような複雑な対比も検定できます。

検定統計量を $F$ 分布の臨界値 $(k-1)F_{\alpha,\,k-1,\,N-k}$ と比べる形（$k$ は群数）。あらゆる対比を許す代償として閾値が高く、単純なペア比較だけならTukeyより検出力が劣ります。データを見てから「ここが差がありそう」と事後に対比を決める（data snooping）場合に、それでもFWERを守れる点が強みです。

flowchart TD
    S["分散分析が有意<br/>→ どこに差があるか調べたい"] --> Q1{"比較したいのは?"}
    Q1 -->|"全ペアの平均差"| TUKEY["Tukey HSD<br/>（studentized range q）"]
    Q1 -->|"対照群と各処理群だけ"| DUNNETT["Dunnett 法<br/>（比較数が少なく高検出力）"]
    Q1 -->|"任意の対比<br/>（複雑な線形結合・事後に決める）"| SCHEFFE["Scheffé 法<br/>（最も保守的・最も汎用）"]
    Q1 -->|"任意の検定の組<br/>（平均比較に限らない）"| GEN{"検出力を上げたい?"}
    GEN -->|"単純でよい"| BONF["Bonferroni（α/m）"]
    GEN -->|"はい"| HOLM["Holm（逐次棄却）"]

FDRを制御する補正法：Benjamini-Hochberg（BH法）

検定数が膨大（数千〜）で、FWERだと厳しすぎて何も検出できないときに使います。FDR（偽発見の割合の期待値）を目標水準 $q$ 以下に抑えます。手順は次の通り。

1. $m$ 個の $p$ 値を昇順に並べる：$p_{(1)}\le p_{(2)}\le\cdots\le p_{(m)}$。
2. 各 $i$ について閾値 $\dfrac{i}{m}q$ を計算する（$q$ は目標FDR、例 0.1）。
3. $p_{(i)}\le \dfrac{i}{m}q$ を満たす最大の $i$ を $k$ とする。
4. $p_{(1)},\dots,p_{(k)}$ をすべて有意とする（$k$ 番目以下は全部棄却）。

要するに：「$p$ 値を小さい順に並べ、右肩上がりの基準線 $\dfrac{i}{m}q$ を下回る最後の点まで一気に棄却する」。Holmが小さい順に上から見て最初の失敗で止めるのに対し、BHは下から見て最後の成功まで採用する点が対照的です。

独立または正に相関した $p$ 値のもとで、この手順は $\mathrm{FDR}\le \dfrac{m_0}{m}q\le q$ を保証します（$m_0$ は真の帰無の個数）。FWERより緩い基準なので、棄却される仮説の数（検出力）が大きく増えます。「100件棄却してFDR=0.1なら、誤りは平均10件まで」と割り切る運用です。

分散分析の事後検定としての位置づけ

多重比較が最も典型的に現れるのが、分散分析（一元配置分散分析）の後です。分散分析の $F$ 検定は「どこかの群間に差がある」かどうかしか教えてくれません（全体検定, omnibus test）。どのペアに差があるかを特定するには、$F$ 検定で有意だった後にペアごとの比較が必要で、ここで多重性が発生します。この「全体検定のあとに行う比較」を**事後検定（post hoc test）**と呼びます。

Tukey・Dunnett・Scheffé はまさにこの事後検定の道具立てで、いずれも分散分析の枠組み（群内変動 $V_E$ を共通の誤差分散の推定に使う）の上に乗っています。第一種過誤の制御という観点は 第一種の過誤・第二種の過誤・検出力（2種類の誤りとトレードオフ・サンプルサイズ設計） と直結しており、多重比較は「第一種過誤を束全体で守る技術」と捉えると体系の中で位置づけられます。

⚠️ 引っかけポイント・頻出論点

• 分散分析が有意でも、その後の比較に多重性は残る。「$F$ 検定が通ったから個別の $t$ 検定は補正不要」は誤り。事後検定として補正が要る。
• Bonferroniは万能だが保守的。仮定不要で使えるが、$m$ が大きいと閾値 $\alpha/m$ が小さすぎて検出力が落ちる。比較が多いならHolmやFDRを検討。
• HolmはBonferroniの上位互換（FWER保証は同じで検出力は必ず以上）。試験では「Holmのほうが検出力が高い／Bonferroniのほうが保守的」の対比が問われやすい。
• TukeyとBonferroniの使い分け：全対比較ならTukeyのほうが効率的（$q$ 分布を使い同時性を直接扱う）。Bonferroniで全ペアを割ると過度に保守的。
• Schefféが最も保守的だが、データを見てから任意の対比を立てても守れる唯一の汎用法。単純ペアだけならTukeyに劣る。
• 検定回数 $m$ の数え方：事前に決めた比較の数で割るのが原則。データを見てから「差が大きそうな所だけ」比較して $m$ を小さく見積もるのは不正（多重性を隠すことになる）。事後に対比を選ぶならSchefféを使う。
• FWERとFDRの混同に注意。FWER＝偽陽性を1個でも出す確率、FDR＝棄却した中の偽陽性割合。式 $P(V\ge1)$ と $E[V/R]$ を取り違えない。

よくある疑問

Q1. 分散分析が有意だったので、あとは普通に $t$ 検定で全ペアを比べてよいですか？ A. だめです。分散分析の $F$ 検定は「どこかに差がある」ことしか言わず、どのペアかを特定するには複数回の比較が要ります。その複数回に多重性が生じるので、補正なしの $t$ 検定を繰り返すとFWERが膨らみます（$m$ ペアなら最大で $1-(1-\alpha)^m$ 近くまで）。事後検定（Tukey等）で同時に制御してください。「全体検定が有意なら個別比較は自由」は典型的な誤りです。

Q2. とりあえずBonferroniにしておけば安全ですか？ A. 「安全（FWER $\le\alpha$）」という意味では正しいですが、安全すぎて損をします。Bonferroniは劣加法性で上から押さえるだけなので保守的で、$m$ が大きいと閾値 $\alpha/m$ が極端に小さく、本物の差を見逃します。FWERを保ちたいなら検出力で勝るHolmを、多数比較なら割合を制御するFDR（BH法）を使うほうが実用的です。Bonferroniの出番は「比較数が少なく、仮定を置きたくない」場面です。

Q3. FWERとFDR、どちらを制御すべきですか？ A. 研究の性格で決めます。確証的（confirmatory）で誤りを1つも出したくない少数比較ならFWER（Bonferroni/Holm/Tukey等）。探索的（exploratory）で大量の候補から有望なものを拾いたいならFDR（BH法）。例えば遺伝子発現解析で2万遺伝子を一度に検定するとき、FWERでは厳しすぎて何も残らないため、FDRで「見つけた中の偽陽性割合を10%以下に」と運用するのが標準です。

Q4. 比較の回数 $m$ は、実際に検定したペアの数で数えればよいですか？ A. 事前に計画した比較の数で数えるのが原則です。データを見てから「差が大きそうなペアだけ」選んで比較し、$m$ を小さく見積もるのは多重性を隠す不正な操作（チェリーピッキング）になります。どのペアを比べるか事前に決められないなら、$m$ を全ペア数とするか、事後に任意の対比を立てても守れるScheffé法を使うべきです。「データを見てから検定対象を決める」場合は実質的な検定回数が膨らんでいることを忘れないでください。

Q5. 全ペアを比べたいとき、Bonferroniで全ペア数で割るのとTukeyはどう違いますか？ A. どちらも全対比較のFWERを $\alpha$ に制御しますが、Tukeyのほうが検出力が高いです。Bonferroniは各ペアを独立に扱って一律 $\alpha/m$ で割るため、ペア間の相関（同じ群平均を共有している）を無視して過度に保守的になります。Tukeyはスチューデント化範囲分布で「最大の平均差」を直接扱い、同時性を効率的に処理するので、全対比較に特化した分だけ無駄が少ない。だから全ペア比較が目的ならTukeyが第一選択です。

まとめ

• 有意水準 $\alpha$ の検定を $m$ 回繰り返すと、FWER $=1-(1-\alpha)^m$ まで第一種過誤が膨らむ（$\alpha=0.05,m=20$ で約0.64）。これが多重比較問題。
• 制御対象は2系統：FWER（偽陽性を1個でも出す確率 $P(V\ge1)$）か、FDR（棄却中の偽陽性割合 $E[V/R]$）か。前者は厳しく、後者は緩く検出力を保つ。
• Bonferroniは $\alpha/m$、劣加法性 $P(\cup A_i)\le\sum P(A_i)$ からFWER $\le\alpha$ を保証。万能だが保守的。Holmは逐次棄却でBonferroniの上位互換。
• 分散分析の事後検定では用途で使い分け：全対比較→Tukey、対照群との比較→Dunnett、任意の対比→Scheffé（最も保守的）。
• 探索的に多数を検定するならBenjamini-HochbergでFDRを制御し、検出力を確保する。

関連ノート

• 仮説検定の枠組み（帰無仮説・対立仮説・p値・有意水準）　帰無仮説・有意水準・$p$ 値の基礎（多重比較の前提）
• 第一種の過誤・第二種の過誤・検出力（2種類の誤りとトレードオフ・サンプルサイズ設計）　多重比較が守ろうとする第一種過誤そのもの
• 母平均の検定（1標本・2標本t検定）　繰り返すと多重性を生む個別の平均比較
• ノンパラメトリック検定（符号・順位和・Wilcoxon）　正規性を仮定できない場合の比較（事後の補正対象になりうる）
• 分散分析　多重比較が事後検定として接続する全体検定