尤度比検定がカイ二乗分布になっているのはなぜですか?


34

尤度比検定の検定統計量がカイ二乗分布しているのはなぜですか?

2(ln Lalt modelln Lnull model)χdfaltdfnull2



14
参照いただきありがとうございます。私からここでの1:stats.stackexchange.com/faq#etiquette
博士Beeblebrox

5
そこに「ユーモアのセンスをもたらす」ことに注目してください。私は失礼になるつもりはありませんでしたが、この質問への答えは比較的面倒で、基本的にはその記事の内容(またはいくつかのより良い統計教科書)で構成されます。これらのいずれかの説明であなたの正確な問題を述べたら、私はあなたを助けてうれしいです。
ニックサブベ

2
ペイウォールのないウィルクスの元の論文への直接リンク
アヨルゴ

回答:


23

@Nickが述べたように、これはウィルクスの定理の結果です。しかし、検定統計量がある。なお、漸近的に χ2 -distributedは、ないχ2 -distributed。

この定理は非常に幅広い文脈に当てはまるため、私はこの定理に非常に感銘を受けました。尤度と統計モデル検討yは、ベクトルの観測値である n個のパラメータを有する分布から独立して複製された観測値θは、副マニホールドに属するB 1R Dとの寸法DIM B 1= 。してみましょうBが0B 1が部分多様体との寸法で薄暗いB 0l(θy)ynθB1Rddim(B1)=sB0B1dim(B0)=m。あなたがテストに興味を持っている想像してH0:{θB0}

尤度比は、ある 逸脱度dy=2loglry)を 定義します。そして、Wilksの定理はそれを言う、通常の規則性の仮定の下で、Dyは漸近的であるχ2がで-distributed際の自由度成り立ちます。

lr(y)=supθB1l(θy)supθB0l(θy).
d(y)=2log(lr(y))d(y)χ2smH0

@Nickが言及したWilkの元の論文で証明されています。この論文は読みにくいと思います。ウィルクスは後に彼の定理の最も簡単な提示でおそらく本を出版しました。ウィリアムズの優れた本には、短い発見的証拠が示されています。


3
悲しいこの定理はで言及されていないことをサミュエル・S・ウィルクスに専念Wikipediaのページ
ステファン・ローラン

5
ステファンに来て。これはウィキペディアです。編集して改善できます!
StasK

1
@StasKそれは知っていますが、試したことはありません。そして、私はすでに統計と数学で人生の多くの時間を過ごしています;)
StéphaneLaurent

逸脱の定義で2がログの前にある理由に直観はありますか?
user56834

@ Programmer2134これは、2次テイラー展開から派生しています。
フランクヴェル

25

I二ニックSabbeの過酷なコメント、そして私の短い答えは、ありそうではありません。つまり、通常の線形モデルにのみ存在します。状況の絶対任意の他の種類のために、正確な分布はない。多くの状況で、あなたはその後、Wilksの定理の条件が満たされることを期待し、でき漸近的に分布して対数尤度比検定統計量の収束をχ 2。ウィルクスの定理の条件の制限と違反は無視できないほど多すぎます。χ2χ2

  1. 定理はIIDデータを前提としてい尤度が不十分とにかく、定義されているため、このような時系列または不均等な確率調査サンプルとして依存データ、(との問題を期待し、「通常の」χ 2等分割表の独立テストなどのテスト、行動を開始します合計としてσ kはk個のV KVのKIID χ 2 1ラオ&スコット)。IIDデータの場合、K = 1、および合計はなりませんχ 2。しかし非依存しないデータのために、これは何です長いケース。χ2kakvk,vki.i.d.χ12ak=1χ2
  2. 定理は、真のパラメーターがパラメーター空間の内部にあると仮定します。使用するユークリッド空間があれば、それは問題ではありません。しかし、いくつかの問題では、天然の制限は、そのような分散として、生じ得る真パラメータが境界ものである場合、漸近分布の混合物である、との間の-1および1 0又は相関χ 2自由度が異なるが、テストの累積分布関数はそのような累積分布関数の合計であるという意味で(Andrews 2001、および同じ期間からの彼の論文の2つまたは3つ、歴史はChernoff 1954に遡る)。χ2
  3. 定理は、関連するすべての導関数がゼロでないと仮定します。これは、いくつかの非線形問題および/またはパラメータ化、および/またはヌルの下でパラメータが識別されない状況で挑戦することができます。あなたは、ガウス混合モデルがあると、あなたのヌルは、一成分である二つの異なる成分の別の対F N μ 1σ 2 1+ 1 - F N μ 2σ 2 2N(μ0,σ02)fN(μ1,σ12)+(1f)N(μ2,σ22)混合画分を有する。NULLが明らかに別の方法でネストされているが、これは様々な方法で表すことができるとして、F = 0(この場合、パラメータは、μ 1σ 2 1が同定されていない)、F = 1(その場合にはμ 2σ 2 2)が同定されていない、又はμ 1 = μ 2σ 1 = σ 2(中ケースFff=0μ1,σ12f=1μ2,σ22μ1=μ2,σ1=σ2f識別されません)。ここでは、ネストのパラメーター化の方法に応じて制限の数が異なるため、テストに必要な自由度を言うことすらできません。これに関するJiahua Chenの研究、例えばCJS 2001をご覧ください。
  4. 分布が正しく指定されている場合は、[OK]を動作する可能性があります。しかし、そうでない場合、テストは再び故障します。構造方程式共分散モデリングとして知られる多変量解析の(統計学者によって大部分は無視されます)サブエリアでは、多変量正規分布がしばしば想定されますが、構造が正しい場合でも、分布が異なる場合、検定は誤動作します。Satorraとベントラー1995分布になるだろうことを示しΣはkはk個のV KVのKIID χ 2 1私のポイント1における非独立したデータと同様に、同じ話を、彼らはまた、どのように実証してきましたχ2kakvk,vki.i.d.χ12 sは、モデルの構造と分布の4番目のモーメントに依存します。ak
  5. 有限のサンプルについて、状況尤度比の大きなクラスであるバートレット、訂正可能:ながらのためにサイズのサンプルN、およびF X ; χ 2 Dの分布関数であるχ 2 DProb[d(y)x]=F(x;χd2)[1+O(n1)]nF(x;χd2)χd2分布は、正規の尤度の問題のためにあなたが一定見つけることができるようにPのR O B [ D Y /1 + B / N X ] = F X χ 2 D[ 1 + O nは2]、つまり、より高い精度で。だから、χ 2bProb[d(y)/(1+b/n)x]=F(x;χd2)[1+O(n2)]χ2有限サンプルの近似値を改善できます(方法を知っていれば間違いなく改善すべきです)。定数はモデルの構造に依存し、場合によっては補助パラメーターにも依存しますが、一貫して推定できる場合は、カバレッジの順序を改善する上でも機能します。b

尤度推論におけるこれらおよび類似の難解な問題のレビューについては、Smith 1989を参照してください。


1
ありがとう!非常に有益です。「通常の線形モデルのみにある」とはどういう意味ですか?フィッシャー試験のために及びB 1は、線形部分空間であり、その後、逸脱は、フィッシャー統計の単調関数であり、それだけで漸近的χ 2B0B1 χ2
ステファンローラン

既知の分散を使用して、追加する必要があります。
StasK
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.