誤った仕様のもとでの統計的推論

統計的推論の古典的な扱いは、正しく指定された統計が使用されるという仮定に依存しています。つまり、観測データを生成した分布は統計モデル一部です：ただし、ほとんどの場合、これが本当に正しいとは限りません。正しく指定された仮定を破棄すると、統計的推論手順はどうなるのだろうか。 $\mathbb{P}^*(Y)$ $y$ $\mathcal{M}$

P^{*} (Y) \in M = {P_{θ} (Y) : θ \in Θ}

$\mathbb{P}^*(Y) \in \mathcal{M}=\{\mathbb{P}_\theta(Y) :\theta \in \Theta\}$

私は1982年にWhiteがML推定値に関する誤った仕様の下でいくつかの仕事を見つけました。その中で、最尤推定量は、分布は、統計モデル内のすべての分布と真の分布からKL発散を最小化します。

P_{θ_{1}} = \arg min_{P_{θ} \in M} K L (P^{*}, P_{θ})

$\mathbb{P}_{\theta_1}=\arg \min_{\mathbb{P}_\theta \in \mathcal{M}} KL(\mathbb{P}^*,\mathbb{P}_\theta)$

P^{*}

$\mathbb{P}^*$

信頼セット推定量はどうなりますか？信頼度セット推定量を再現できます。してみましょう $\delta:\Omega_Y \rightarrow 2^\Theta$ セットの推定、可能 $\Omega_Y$ サンプルスペースとである $2^\Theta$ パラメータ空間での電力セット $\Theta$ 。私たちが知りたいのは、によって生成されたセット $\delta$ が真の分布含むイベントの確率 $\mathbb{P}^*$ 、つまり

P^{*} (P^{*} \in {P_{θ} : θ \in δ (Y)}) := A .

$\mathbb{P}^*(\mathbb{P}^* \in \{P_\theta : \theta \in \delta(Y)\}):=A.$

ただし、実際の分布ません $\mathbb{P}^*$ 。正しく指定された仮定は、 $\mathbb{P}^* \in \mathcal{M}$ ます。ただし、モデルのどの分布であるかはまだわかりません。ただし、

inf_{θ \in Θ} P_{θ} (θ \in δ (Y)) := B

$\inf_{\theta \in \Theta} \mathbb{P}_\theta(\theta \in \delta(Y)):=B$ は確率

下限です

A

$A$ 。方程式

B

$B$ は、信頼セット推定量の信頼レベルの古典的な定義です。

正しく指定された仮定を破棄する場合、 $B$ は必ずしも下限ではなく、 $A$ 実際に関心のある用語は、もはやです。確かに、モデルの指定が間違っていると仮定すると、ほとんどの現実的な状況では間違いなく $A$ は0です。これは、真の分布 $P^*$ が統計モデル含まれていないため $\mathcal{M}$ です。

別の観点から、モデルが誤って指定されている場合に何に $B$ 関連するかを考えることができます。これはより具体的な質問です。モデルの指定が間違っている場合、まだ意味がありますか。 $B$ そうでない場合、なぜパラメトリック統計に悩まされるのでしょうか？

White 1982には、これらの問題に関するいくつかの結果が含まれていると思います。残念なことに、数学的な背景がないため、そこに書かれていることをあまり理解できません。

— ジュリアン・カールス
ソース

この質問と答えstats.stackexchange.com/questions/149773/…を見つけました。よく似ています。これらの本を読むと、おそらくこの質問の答えにつながるでしょう。ただし、すでにこれを行った人による要約は非常に役立つと思います。

— ジュリアンカール

この質問がこれ以上興味を引かないのは残念です。ジュリアンのリンクには素晴らしい資料がありますが、この問題についてもっと考えてみたいと思います。

— フロリアンハーティグ

よく行われるのは、統計モデルが正しいと仮定して、検定統計量の分布が帰無仮説の下で計算されることです。p-値が十分に低い場合、これは偶然によるものであるか、nullが偽であると結論付けられます。ただし、モデルの指定が間違っている場合、これも論理的に描くことができる結論です。他のすべての推論にも同じことが当てはまります。モデルが誤って指定されているという事実は、別の結論を提供します。これは、私がSpanosの作品を読んだことに基づいて考えている方法です。

— トビー

基本的に、すべてのモデルが間違っています。それは、定量的に誤仕様を開発するのに役立ちます。画像の場合、仕様の誤りは登録の誤りです。たとえば、十分な数のカウントのエラーをカウントする場合（放射性崩壊など）、エラーはポアソン分布になります。その場合、時系列の位置ずれは画像の平方根のy軸誤差であり、ノイズはそれらの同じ単位になります。ここに例。

— カール

回答:

ましょう iid確率変数列の実現であると推定される観測データも共通確率密度関数とシグマ有限対策に関して定義。密度は、データ生成プロセス（DGP）密度と呼ばれます。 $y_1, \ldots, y_n$ $Y_1, \ldots, Y_n$ $p_e$ $\nu$ $p_e$

研究者の確率モデルでは、は、パラメータベクトルインデックス付けされた確率密度関数のコレクションです。各密度は、共通のシグマ有限測度に関して定義されていると仮定します（たとえば、各密度は同じサンプル空間確率質量関数である可能性があります）。 ${\cal M} \equiv \{ p(y ; \theta) : \theta \in \Theta \}$ $\theta$ ${\cal M}$ $\nu$ $S$

データを実際に生成した密度を、データの確率モデルとは概念的に区別することが重要です。従来の統計処理では、これらの概念の慎重な分離は無視されるか、行われないか、確率モデルが正しく指定されていると最初から想定されています。 $p_e$

に関して正しく指定されたモデルは、ほぼどこでもモデルとして定義されます。場合に関してmisspecifiedさ確率モデルが正しく指定されていない場合には、この対応します。 ${\cal M}$ $p_e$ $p_e \in {\cal M}$ $\nu$ ${\cal M}$ $p_e$

確率モデルが正しく指定されている場合は、そこに存在するAパラメータ空間におけるよう -almostどこでも。このようなパラメータベクトルは、「真のパラメータベクトル」と呼ばれます。確率モデルの指定が間違っている場合、真のパラメーターベクトルは存在しません。 $\theta^*$ $\Theta$ $p_e(y) = p(y ; \theta^*)$ $\nu$

Whiteのモデルの誤仕様フレームワーク内での目標は、を最小化するパラメーター推定を見つけることいくつかのコンパクトパラメータ空間上。ユニークな厳密グローバル最小化、と仮定される、期待値のに内部に配置されている。確率モデルが正しく指定されている幸運な場合、は「真のパラメーター値」として解釈される場合があります。 $\hat{\theta}_n$ $\hat{\ell}_n({\theta}) \equiv (1/n) \sum_{i=1}^n \log p(y_i ; { \theta})$ $\Theta$ $\theta^*$ $\hat{\ell}_n$ $\Theta$ $\Theta$ $\theta^*$

確率モデルが正しく指定されている特殊なケースでは、はおなじみの最尤推定値です。確率モデルが正しく指定されているという絶対的な知識がない場合、は準最尤推定値と呼ばれ、目標はを推定することです。幸運になり、確率モデルが正しく指定されると、準最尤推定値は特別な場合としておなじみの最尤推定値に減少し、が真のパラメーター値になります。 $\hat{\theta}_n$ $\hat{\theta}_n$ $\theta^*$ $\theta^*$

White（1982）フレームワーク内の一貫性は、が必ずしも真のパラメーターベクトルである必要はなく、への収束に対応します。Whiteのフレームワーク内では、δによって生成されたセットがTRUE分布P *を含むイベントの確率を推定することはありません。代わりに、δによって生成されたセットが密度指定された分布を含むイベントの確率である確率分布P **を常に推定します。 $\theta^*$ $\theta^*$ $p(y ; \theta^*)$

最後に、モデルの仕様ミスに関するいくつかのコメント。誤って指定されたモデルが非常に有用で、非常に予測的である例を見つけるのは簡単です。たとえば、分散が非常に小さいが、環境内の実際の残留誤差がガウスではないガウス残留誤差項を持つ非線形（または線形）回帰モデルを考えます。

また、正しく指定されたモデルが役に立たず、予測的でない例も簡単に見つかります。たとえば、明日の終値が今日の終値と非常に大きな分散をもつガウスノイズの加重和であると予測する株価を予測するためのランダムウォークモデルを考えてみましょう。

モデルの誤仕様フレームワークの目的は、モデルの有効性を確保することではなく、信頼性を確保することです。つまり、パラメーターの推定、信頼区間、仮説検定などに関連するサンプリング誤差が、モデルの仕様の少量または大量の存在にもかかわらず正しく推定されることを確認します。準最尤推定値は、負の対数尤度関数の1次導関数と2次導関数の両方に依存する共分散行列推定器を使用して、を中心とする漸近的に正規です。幸運に恵まれ、モデルが正しい特別な場合、すべての式は、目標が「真の」パラメーター値を推定することであるおなじみの古典的な統計的枠組みに還元されます。 $\theta^*$

— RMG
ソース

まず、これは本当に魅力的な質問です。それを投稿してくれたJulianに称賛を。私が見るように、この種の分析で直面する基本的な問題は、サブセットの推論が、モデルの確率測定の制限されたクラスに対する推論であるということです。真のモデルを推測する確率は、モデルの下で、最初に仕様の誤りがあるかどうかというささいな問題まで縮退します。ホワイトは、適切な距離メトリックを使用して、モデルが真の確率測定にどれだけ近づくかを調べることで、これを回避します。これにより、彼は確率尺度。これは最も近いプロキシです。 $\Theta$ $\mathcal{M}$ $\mathbb{P}_{\theta_1}$ $\mathbb{P}^*$ で。を見るこの方法は、信頼セットに関する質問に関連する興味深い量を提供するために拡張できます。 $\mathcal{M}$ $\mathbb{P}_{\theta_1}$

これに到達する前に、分析で値とが数学的に明確に定義されている（つまり、存在している）ことを意味します。それは必ずしも非常に有用な意味ではありません。分析の値は明確に定義されています。推定された確率測度のセットに真の確率測度が含まれるのは、真の確率です。あなたはがを意味することは正しい、つまり、この量は仕様の間違いの場合に些細なことを意味する。ホワイトのリードに続いて、量を見るとおそらくもっと面白いでしょう。 $A$ $B$ $A$ $\mathbb{P}^* \notin \mathcal{M}$ $A = 0$

A^{*} \equiv A^{*} (Y) \equiv P^{*} (P_{θ_{1}} \in {P_{θ} | θ \in δ (Y)}) .

$A^* \equiv A^*(Y) \equiv \mathbb{P}^* (\mathbb{P}_{\theta_1} \in \{P_\theta | \theta \in \delta(Y) \} ).$

ここでは、の内部オカレンスをモデル最も近いプロキシに置き換えたため、。ここで、推定された確率測度のセットがモデル内の真の確率測度に最も近いプロキシを含む真の確率を求めています。モデルの仕様の誤りは、この量をトリビアライズしなくなりました。これは、構築によってがあるためです。 $\mathbb{P}^*$ $\mathcal{M}$ $\mathbb{P}^* \notin \mathcal{M}$ $\mathbb{P}_{\theta_1} \in \mathcal{M}$

Whiteは、MLEが一貫した推定量であることを示すことにより、仕様の誤りを分析します。これは、仕様が間違っていても、モデル内の真の確率測度に最も近いプロキシを正しく推定できることを示すため、貴重です。信頼セットに関する自然なフォローアップの質問は、特定の推論方法が量下限を課すか、収束が $\mathbb{P}_{\theta_1}$ $\delta$ $A^*$ $n \rightarrow \infty$ 。（正の）下限または（正の）収束の結果を確立できる場合、これにより、仕様が間違っていても、ある程度の確率レベルで最も近いプロキシを正しく推定できるという保証が得られます。ホワイトが行った分析の種類に従って、これらの問題を調査することをお勧めします。

— モニカを復活させる
ソース