尤度比検定がカイ二乗分布になっているのはなぜですか？

尤度比検定の検定統計量がカイ二乗分布しているのはなぜですか？

$2(\ln \text{ L}_{\rm alt\ model} - \ln \text{ L}_{\rm null\ model} ) \sim \chi^{2}_{df_{\rm alt}-df_{\rm null}}$

@Nickが述べたように、これはウィルクスの定理の結果です。しかし、検定統計量がある。なお、漸近的に $\chi^2$ -distributedは、ない$\chi^2$ -distributed。

この定理は非常に幅広い文脈に当てはまるため、私はこの定理に非常に感銘を受けました。尤度と統計モデル検討yは、ベクトルの観測値である n個のパラメータを有する分布から独立して複製された観測値θは、副マニホールドに属するB 1のR Dとの寸法DIM （B 1）= 秒。してみましょうBが0 ⊂ B 1が部分多様体との寸法で薄暗い（B $l(\theta \mid y)$$y$$n$$\theta$$B_1$$\mathbb{R}^d$$\dim(B_1)=s$$B_0 \subset B_1$$\dim(B_0)=m$。あなたがテストに興味を持っている想像して$H_0\colon\{\theta \in B_0\}$。

尤度比は、ある 逸脱度d（y）=2log（lr（y））を 定義します。そして、Wilksの定理はそれを言う、通常の規則性の仮定の下で、D（yは）漸近的であるχ2がで-distributed際の自由度成り立ちます。

@Nickが言及したWilkの元の論文で証明されています。この論文は読みにくいと思います。ウィルクスは後に彼の定理の最も簡単な提示でおそらく本を出版しました。ウィリアムズの優れた本には、短い発見的証拠が示されています。

I二ニックSabbeの過酷なコメント、そして私の短い答えは、ありそうではありません。つまり、通常の線形モデルにのみ存在します。状況の絶対任意の他の種類のために、正確な分布はない。多くの状況で、あなたはその後、Wilksの定理の条件が満たされることを期待し、でき漸近的に分布して対数尤度比検定統計量の収束をχ 2。ウィルクスの定理の条件の制限と違反は無視できないほど多すぎます。$\chi^2$$\chi^2$

1. 定理はIIDデータを前提としてい尤度が不十分とにかく、定義されているため、このような時系列または不均等な確率調査サンプルとして依存データ、（との問題を期待し、「通常の」χ 2等分割表の独立テストなどのテスト、行動を開始します合計としてσ kはk個のV K、VのK〜IID χ 2 1（ラオ＆スコット）。IIDデータの場合、K = 1、および合計はなりませんχ 2。しかし非依存しないデータのために、これは何です長いケース。$\Rightarrow$$\chi^2$$\sum_k a_k v_k, v_k \sim \mbox{i.i.d.} \chi^2_1$$a_k=1$$\chi^2$
2. 定理は、真のパラメーターがパラメーター空間の内部にあると仮定します。使用するユークリッド空間があれば、それは問題ではありません。しかし、いくつかの問題では、天然の制限は、そのような分散として、生じ得る真パラメータが境界ものである場合、漸近分布の混合物である、との間の-1および1 0又は相関χ 2自由度が異なるが、テストの累積分布関数はそのような累積分布関数の合計であるという意味で（Andrews 2001、および同じ期間からの彼の論文の2つまたは3つ、歴史はChernoff 1954に遡る）。$\ge$$\chi^2$
3. 定理は、関連するすべての導関数がゼロでないと仮定します。これは、いくつかの非線形問題および/またはパラメータ化、および/またはヌルの下でパラメータが識別されない状況で挑戦することができます。あなたは、ガウス混合モデルがあると、あなたのヌルは、一成分である二つの異なる成分の別の対F N （μ 1、σ 2 1）+ （1 - F ）N （μ 2、σ 2 2$N(\mu_0,\sigma^2_0)$$f N(\mu_1,\sigma_1^2) + (1-f) N(\mu_2,\sigma_2^2)$混合画分を有する。NULLが明らかに別の方法でネストされているが、これは様々な方法で表すことができるとして、F = 0（この場合、パラメータは、μ 1、σ 2 1が同定されていない）、F = 1（その場合にはμ 2、σ 2 2）が同定されていない、又はμ 1 = μ 2、σ 1 = σ 2（中ケース$f$$f=0$$\mu_1,\sigma_1^2$$f=1$$\mu_2, \sigma_2^2$$\mu_1=\mu_2, \sigma_1=\sigma_2$$f$識別されません）。ここでは、ネストのパラメーター化の方法に応じて制限の数が異なるため、テストに必要な自由度を言うことすらできません。これに関するJiahua Chenの研究、例えばCJS 2001をご覧ください。
4. 分布が正しく指定されている場合は、[OK]を動作する可能性があります。しかし、そうでない場合、テストは再び故障します。構造方程式共分散モデリングとして知られる多変量解析の（統計学者によって大部分は無視されます）サブエリアでは、多変量正規分布がしばしば想定されますが、構造が正しい場合でも、分布が異なる場合、検定は誤動作します。Satorraとベントラー1995分布になるだろうことを示しΣはkはk個のV K、VのK〜IID χ 2 1私のポイント1における非独立したデータと同様に、同じ話を、彼らはまた、どのように実証してきました$\chi^2$$\sum_k a_k v_k, v_k \sim \mbox{i.i.d.} \chi^2_1$ sは、モデルの構造と分布の4番目のモーメントに依存します。$a_k$
5. 有限のサンプルについて、状況尤度比の大きなクラスであるバートレット、訂正可能：ながらのためにサイズのサンプルN、およびF （X ; χ 2 D）の分布関数であるχ 2 ${\rm Prob}[d(y) \le x]=F(x;\chi^2_d)[1+O(n^{-1})]$$n$$F(x;\chi^2_d)$$\chi^2_d$分布は、正規の尤度の問題のためにあなたが一定見つけることができるようにPのR O B [ D （Y ）/（1 + B / N ）≤ X ] = F （X 、χ 2 D）[ 1 + O （nは− 2）]、つまり、より高い精度で。だから、χ $b$${\rm Prob}[d(y)/(1+b/n) \le x]=F(x;\chi^2_d)[1+O(n^{-2})]$$\chi^2$有限サンプルの近似値を改善できます（方法を知っていれば間違いなく改善すべきです）。定数はモデルの構造に依存し、場合によっては補助パラメーターにも依存しますが、一貫して推定できる場合は、カバレッジの順序を改善する上でも機能します。$b$

尤度推論におけるこれらおよび類似の難解な問題のレビューについては、Smith 1989を参照してください。