回答:
「帰無仮説」に複数の自然状態が含まれる場合、実際の偽陽性率(FPR)はその状態によって異なる可能性があります。私たちにできることは、その自然状態がどのようなものであっても、FPRの制限を保証することだけです。しかし、FPRが実際に に等しいことを常に保証できるわけではありません。
(FPRが実際に目標値と等しくない場合がある理由は他にもあります。たとえば、テスト統計が離散的である場合などです。これらの状況は、通常、ランダム化された決定手順を使用することで解決できます。そのため、質問。)
統計が未知の平均と(簡単にするために)既知の標準偏差正規分布を持つと仮定される古典的な片側検定を考えます。 はと比較され。帰無仮説はですが、仮説はです。したがって、拒否領域は次の形式になります。μ σ μ 0 H 0:μ ≥ 0 H A:μ < 0
ここで、は、この領域の統計を観察する可能性が多くてもます。 α
仮定の下では、この確率は正規分布関数によって与えられます。
この確率は未知の値に依存します。 したがって、実際にに等しいことは保証できません。実際、大きな場合、は実質的にゼロです。ただし、すべての基底をカバーする必要があり、が帰無仮説と一致している限り、偽陽性率が超えないことを保証する必要があります。 μ (2 )μ (1 )α
それは卑劣な問題です。連続データがあり、それらを適切に処理する場合、です。ただし、データが離散的である場合、は不可能である可能性があります。コインが公正であるかどうかに関する2項データを考慮してください。 P = α
> pbinom(0:5, size=5, prob=.5)
[1] 0.03125 0.18750 0.50000 0.81250 0.96875 1.00000
ヘッドがのみタイプIエラーが発生し、それに関連する確率はです。したがって、タイプIのエラー率は「最大で」にますが、は等しくありません。 ≈ 0.03 α
一方、(たとえば、段階的な選択ルーチン)の場合でも、よりも大きい タイプIのエラー率につながる(無効な)分析戦略があります。 P < α
私はここでより完全な議論をします:比較および対比、p値、有意水準およびタイプIエラー