モデルが正しくない場合でも、MLE推定は漸近的に正常かつ効率的ですか?


12

前提:これは愚かな質問かもしれません。私はMLEの漸近的性質に関する記述しか知りませんが、証明を研究したことはありません。もしそうなら、これらの質問をするつもりはないだろう、またはこれらの質問が意味をなさないことに気付くかもしれない...だから私に簡単に行ってください:)

モデルのパラメーターのMLE推定量が漸近的に正常で効率的であると言うステートメントをよく見ました。文は通常次のように書かれています

θ^dN(θ0,I(θ0)1)としてN

ここでNサンプル数であり、Iフィッシャー情報とでθ0パラメータ(ベクトル)である真値。さて、真のモデルへの参照があるので、これは、モデルが真でない場合、結果が保持されないことを意味しますか?

例:風速Vと加法ガウスノイズの関数として風力タービンからの出力をモデル化すると仮定し ます。PV

P=β0+β1V+β2V2+ϵ

少なくとも2つの理由で、モデルが間違っていることを知っています。1)V3乗に本当に比例します。2)風速とは無関係な他の予測変数を無視したため、誤差は加法的ではありません(風速0では電力が生成されないため、β0は0でなければなりませんが、ここでは関係ありません)。今、風力タービンからの電力と風速のデータの無限データベースがあると仮定します。どんなサイズのサンプルでも好きなだけ描くことができます。私は1000個のサンプル、サイズ100、及び計算の各描画仮定β 100のMLE推定値β = β 0β 1PVβ0β^100)私のモデルの下でちょうどOLSが推定されるであろう(。私は、このようの分布から1000個のサンプルを持っている β 100。私は練習を繰り返すことができ、N = 500 1000年1500年...N の分布すべきである β Nは述べ平均と分散で、漸近的に正常である傾向がありますか?または、モデルが正しくないという事実がこの結果を無効にしますか?β=(β0,β1,β2)β^100N=500,1000,1500,Nβ^N

私が尋ねている理由は、アプリケーションではめったに(あるとしても)モデルが「真」であるということです。モデルが真ではないときにMLEの漸近特性が失われた場合、異なる推定原理を使用することは理にかなっている可能性があります。

編集:コメントでは、真のモデルの概念には問題がある可能性があると指摘されていました。モデルの家族与えられた:私は心の中で次のような定義を持っていたのパラメータベクトルでindicized θあなたはいつも書くことができ、家族内の各モデルについて、 fθ(x)θ

Y=fθ(X)+ϵ

単純に定義することによってとしてY - F θX 。ただし、一般に、エラーはXに直交せず、平均0を持ち、必ずしもモデルの導出で想定される分布を持つとは限りません。値が存在する場合にはθ 0ようにεはこれら2つのプロパティだけでなく、想定分布を有しているが、私はモデルが真であると言うでしょう。私はこれを直接ことを言ってに関係していると思わF θ 0X = E [ Y | X ]、分解のエラー項ϵYfθ(X)Xθ0ϵfθ0(X)=E[Y|X]

Y=E[Y|X]+ϵ

上記の2つのプロパティがあります。


3
MLE推定は、モデルが真ではない場合でも、多くの場合漸近的に正常です。たとえば、「最小偽」パラメーター値については一貫性があります。しかし、そのような場合、効率または他の最適性の特性を示すことは困難です。
kjetil bハルヴォルセン

1
効率を上げる前に、一貫性を調べる必要があります。真理が検索空間にないシナリオでは、次のような一貫性の異なる定義が必要です:d(P *、P)、ここでdは発散、P *はdに関して最も近いモデル、Pは真理です。たとえば、dがKL発散(MLEが最小化する値)の場合、モデルが凸でない限り、ベイジアンプロシージャが一貫していない(最も近いモデルに到達できない)ことがわかります。そのため、MLEにも一貫性がないと想定します。したがって、効率は不明確になります。homepage.tudelft.nl/19j49/benelearn/papers/Paper_Grunwald.pdf
Cagdas Ozgenc

1
@Cagdas Ozgenc:多くの場合(ロジスティック回帰など)、MLEは「最小偽」パラメーターについて一貫しています。非凸の場合の矛盾についてのあなたの主張の参照はありますか?とても興味がありますか?(ロジスティック回帰の尤度関数は凸です)
kjetil b halvorsen

@kjetilbhalvorsen homepages.cwi.nl/~pdg/ftp/inconsistency.pdfそれは私の頭上にありますが、私が理解していることです。私の理解が間違っている場合は私を修正してください。結局、私はただの愛好家です。
カグダスオズゲンク

4
「model is true」または「least false」などの用語を使用すると問題が発生すると思います。実際にモデルを扱う場合、それらはすべて近似です。特定の仮定を立てれば、数学を使用して統計的性質を示すことができます。ここでは、確率の数学と実際のデータ分析の間に常に矛盾があります。
マイケルR.チャーニック

回答:


4

この質問に対する単一の答えがあるとは思わない。

最尤推定を適用する際に分布の仕様の誤りを考慮すると、「準最尤」推定量(QMLE)と呼ばれるものが得られます。特定の場合、QMLEは一貫性があり、漸近的に正常です。

確実に失われるのは、漸近的な効率です。これは、√の漸近分散(これは漸近分布を有する量だけでなく、ある θ)であり、全ての場合において、n(θ^θ)θ^

(1)Avar[n(θ^θ)]=plim([H^]1[S^S^T][H^]1)

ここで、は対数尤度のヘッセ行列、Sは勾配、ハットはサンプル推定を示します。HS

さて、正しい仕様があれば、まず、

(2)Avar[n(θ^θ)]=(E[H0])1E[S0S0T](E[H0])1

ここで、「」という真のパラメータ(及び中間項はフィッシャー情報の定義であることに注意)、および第二の「添字表す評価、情報行列平等に」と保持し、状態- E [ H 0 ] = E [ S 0 S T 0 ]は、漸近分散が最終的に0E[H0]=E[S0S0T]

(3)Avar[n(θ^θ)]=(E[H0])1

これはフィッシャー情報の逆です。

しかし、仕様に誤りがある場合、式は式2 )になりません誤った可能性に基づいて1 )の1次および2次導関数が導出されているため)。これは、情報行列の不等式が成り立たないこと、式3 で終わらないこと、および(Q)MLEが完全な漸近効率を達成しないことを意味します。(1)(2)(1)(3)


は確率変数の漸近分散で、 plimは確率の収束を表しますよね?あなたの答えは非常に興味深いようですが、あなたの文脈で θが何であるか理解できません。私は、正しい値場合に言及した θは、私の風力タービンの例を参照して、何の価値ここで、単純に存在しない β = β 0β 1β 2、モデルが正しいことができる値がありませんそこにはいないので、 β 3項、および他の予測因子は、と相関しているため V行方不明です。何でしょう θAvarplimθθβ=(β0,β1,β2)β3Vθこの文脈で意味する?
DeltaIV

申し訳ありませんが、私のコメントの最初の版は理解できませんでした。今、私のポイントは明確になっているはずです。言い換えると、「真の」がない場合、式√で θとして解釈すべきことは何ですかθθn(θ^θ)
DeltaIV

1
@DeltaIVゼロ。QMLEはこれを「キャッチ」しますか?それは-そして再び、その質問への単一の答えはありません一貫したかないだろうwhetehrに依存
Alecosパパドプロス

1
わかった。したがって、QMLE(一貫性がある場合)は、収束する必要があります。@ kjetilbhalvorsenが示唆するように、「最小の偽」パラメーター値に収束すると考えていました。QMLEおよび作成した方程式に関する参考文献を提案できますか?ありがとうθ=0
-DeltaIV

1
@DeltaIV私は林チャンネルでの博覧会を提案します。7極値推定器について、MLEの一貫性、正常性などに関して。QMLEに関しては、トピックはかなり広い。たとえば、「QMLE」の下では、推定しているパラメーターが「真のパラメーター」と明確に関連していない可能性があることを最初から確認する状況もあります(ただし、演​​習は近似として有効です)。そして、提案されている「最小の偽」ベクトルを取得します。
アレコスパパドプロス
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.