準最尤推定（QMLE）の背後にあるアイデアと直感

17

質問：準最尤推定（QMLE、擬似最尤推定、PMLEとも呼ばれます）の背後にある考え方と直感は何ですか？実際の誤差分布が想定誤差分布と一致しない場合、推定器が機能する理由は何ですか？

QMLE のWikipediaサイトは素晴らしい（簡潔で、直感的、要点）ですが、もっと直感的で詳細な、おそらくはイラストを使用することもできます。他の参考文献は大歓迎です。（私はQMLE上に材料を探してかなりの数の計量経済学の教科書の上に行くのを覚えて、そして私の驚きに、QMLEは、1つまたはそれらの2で覆われていた、例えばWooldridge 「クロスセクションとパネルデータの計量経済分析」第13章（2010）セクション11、ページ502-517。）

— リチャード・ハーディ
ソース

2

これに関するホワイトの論文を読んだことがありますか？

— hejseb

2

@hejseb、おそらくそうではないかもしれませんが、少なくとも私はそれをよく覚えていません。それは、この 1？

— リチャードハーディ

1

はい、それが1つです。彼はもちろん、フーバー（1967）に大きく基づいており、それを完全に認識しています。しかし、計量経済学の次のことはほとんどありません。そして、Huberの論文は、すべての正当な敬意を持って、その技術レベルでほとんど読めません。ハル・ホワイトは間違いなくこの問題の消化を容易にしました。

— StasK

7

「実際の誤差分布が想定誤差分布と一致しない場合、推定器が機能する理由は何ですか？」

原則として、QMPLEは、「良い」評価者であるという意味で「機能しません」。QMLEを中心に開発された理論は、仕様の誤りテストにつながっているため有用です。

QMLEが確かに行うことは、真の分布と指定された分布との間のKullback-Leiber発散を最小化するパラメーターベクトルを一貫して推定することです。これは良いように聞こえますが、この距離を最小化しても、最小化された距離がそれほど大きくないわけではありません。

それでも、QMLEが真のパラメーターベクトルの一貫した推定量である多くの状況があることを読みました。これはケースバイケースで評価する必要がありますが、非常に一般的な状況を1つ挙げてみましょう。これは、QMLEに固有のものが真のベクトルに対して一貫性を持たないことを示しています...

...むしろ、常に一貫性のある別の推定量（エルゴード-定常サンプルの仮定を維持）と一致するという事実です：昔ながらのモーメント法推定量。

言い換えれば、分布について疑問がある場合、考慮すべき戦略は、「関心のあるパラメーターの最尤推定量がモーメント法推定量と一致する分布を常に指定する」ことです。分布の仮定である場合、推定量は少なくとも一貫しています。

この戦略をとんでもない極端なものにすることができます。すべての値が正であるランダム変数から非常に大きなiidサンプルがあると仮定します。次に、ランダム変数が正規分布していると仮定し、平均と分散に最尤法を適用します。QMLEは真の値に対して一貫しています。

もちろん、これは疑問を招きます。なぜMLEを適用するふりをするのは、基本的に私たちがやっていることは、モーメント法（漸近的な正規性も保証します）の長所に依存して隠れているからです。

他のより洗練されたケースでは、分布ではなく条件付き平均関数を正しく指定したと言える場合、QMLEは対象のパラメーターに対して一貫性があることが示される場合があります（たとえば、プールドポアソンQMLEの場合-Wooldridgeを参照）。

— アレコスパパドプロス
ソース

これは面白い。そのような理論の参考文献をいくつか教えていただけますか？

— kjetil bハルヴォルセン

1

@kjetilbhalvorsenこれは、いくつかの非常に基本的な結果を明白な方法で合成するだけなので、開発された理論的なフレームワークではありません。合成は、仕様ミスの結果に関して苦しんでいる間に頭に浮かびました。そして、研究論文で大々的に宣伝されていない「政治」面もあると信じています。今、私たちはキングMLEを退位させたくないでしょうか？

— アレコスパパドプロス

8

0 = \sum_{私 = 1}^{n} S （ β 、 {バツ}_{私} 、 Y_{私} ） = D^{T} W （ Y - g^{- 1} （ {バツ}^{T} β ） ）

$0 = \sum_{i=1}^n \mathbf{S}(\beta, X_i, Y_i) = \mathbf{D}^{T} W \left( Y - g^{-1} (\mathbf{X}^T \beta)\right)$

D = \frac{\partial}{\partial β} g^{- 1} (X^{T} β)

$\mathbf{D} = \frac{\partial}{\partial \beta} g^{-1} ( \mathbf{X}^T \beta)$

W = V^{- 1}

$W = \mathbf{V}^{-1}$

しかし、興味深いことに、この定式化は、括弧で囲まれた式のRHSで「推定したいものを設定する」という単純な種類のモーメント法タイプの推定器に耳を傾け、式が「その興味深い事」。これは、方程式を推定するプロトタイプ形式でした。

推定式は新しい概念ではありませんでした。実際、1870年代から1900年代初頭まで遡って、テイラー展開を使用してEEからEEを正しく導出するEEを提示しようとしましたが、確率論的モデルとの関連性の欠如が批評家の論争の原因でした。

$S$

ただし、上記の答えとは対照的に、準尤度が広く使用されています。McCulloghとNelderでの非常に良い議論の1つは、カブトガニの個体群モデリングに関するものです。人間とは異なり、彼らの交尾習慣は単に奇妙です。多くのオスが、測定されていない「群れ」の中の単一のメスに群がる場合があります。生態学者の観点からは、これらのクラスターを実際に観察することは彼らの仕事の範囲をはるかに超えていますが、それにもかかわらず、キャッチアンドリリースからの人口規模の予測に到達することは大きな挑戦を提起しました。この交配パターンにより、有意な低分散のポアソンモデルが得られることがわかります。つまり、分散は比例しますが、平均とは異なります。

分散は、一般的にその値についての推論に基づかないという意味で迷惑パラメーターと見なされ、単一の尤度でそれらを一緒に推定すると、非常に不規則な尤度が生じます。準尤度は、特に一般化された推定方程式に関する後の研究に照らして、統計の非常に有用な領域です。

— AdamO
ソース

1

（+1）非常に有用な答え。

— アレコスパパドプロス

2

リチャード・ハーディからここに投稿された元の質問と同様の質問がありました。私の混乱は、準MLから推定されたパラメーターが未知の「真の」分布に存在しない可能性があることでした。この場合、「一貫性」とはどういう意味ですか？推定パラメーターは何に収束しますか？

いくつかの参考文献をチェックした後（White（1982）は元の記事の1つであるはずですが、ゲートされています。見つけた有用な説明はhttp://homepage.ntu.edu.tw/~ckuan/pdf/et01/ch9.pdfです）、平易な英語での私の考えは次のとおりです：分布が未知の真の分布に近似していることを認めた後、実際にできることは、距離を最小化するパラメーター値を見つけることです（Kullback-Leibler distance正確に）。理論の美しさは、真の分布を知る必要なく、準MLからの推定パラメーターがこの距離最小化パラメーターに収束することです（もちろん、推定の漸近分布など、理論から他の有用な結果がありますパラメータなどがありますが、ここでは私の質問の焦点ではありません）。

アレコスパパドポラスが上記の回答で述べたように、最小化された距離は依然として大きい可能性があります。そのため、我々が想定する分布は、真の分布の近似値としては不十分です。準MLでできることは、想定される分布を未知の真の分布にできるだけ近づけることです。ここで共有した私の経験が、同様の混乱を抱えている他の人にも役立つことを願っています。

— フランク
ソース