モデルが間違っているのに、なぜベイジアンである必要があるのですか？

編集：簡単な例を追加しました：平均の推論。また、信頼区間と一致しない信頼区間が悪い理由を少し明らかにしました。$X_i$

かなり敬devなベイジアンの私は、ある種の信仰の危機の真っただ中にいます。

私の問題は次のとおりです。IIDデータを分析したいとします。私がやることは：$X_i$

• 最初に、条件付きモデルを提案します：

  $$p(X|\theta)$$

• 次に、上の前を選択し： P （θ $\theta$

  $$p(\theta)$$

• 最後に、ベイズの規則を適用し、事後を計算します：（または計算できない場合は近似）、についてのすべての質問に答えます$p(\theta | X_1 \dots X_n )$$\theta$

これは賢明なアプローチです。データ真のモデルが条件付きの「内部」にある場合（値対応する場合）、統計的決定理論を呼び出して、メソッドが許容可能であると言うことができます（Robert詳細については「ベイジアン選択」、「統計のすべて」も関連する章で明確に説明しています）。θ $X_i$$\theta_0$

しかし、誰もが知っているように、私のモデルが正しいと仮定することはかなり慢です。なぜ私が検討したモデルの箱の中に自然がきちんと収まるのでしょうか？これは、データの実際のモデルと仮定することははるかに現実的である異なりのすべての値に対して。これは通常、「誤って指定された」モデルと呼ばれます。p （X | θ ）$p_{true}(X)$$p(X|\theta)$$\theta$

私の問題は、このより現実的な誤って指定されたケースでは、単純に最尤推定量（MLE）を計算するのと比べて、ベイジアンであること（つまり、事後分布の計算）についての良い議論がないことです：

実際、Kleijn、vd Vaart（2012）によると、誤って指定された場合、事後分布は次のとおりです。

• として、を中心とするディラック分布に収束しθ M $n\rightarrow \infty$$\hat \theta_{ML}$

• 事後の信頼できる区間が信頼区間に一致することを保証するために、正しい分散がありません（2つの値が偶然同じでない限り）。（信頼区間は明らかにベイジアンが過度に気にしないものですが、これは定性的には、事後分布が本質的に間違っていることを意味します。これは、信頼区間が正しいカバレッジを持たないことを意味します）$\theta$

したがって、追加のプロパティがない場合、計算プレミアム（一般にベイジアン推論はMLEよりも高価です）を支払います。

したがって、最後に、私の質問：モデルが誤って指定されている場合に、より単純なMLEの代替案に対してベイジアン推論を使用するための理論的または経験的な議論はありますか？

（私の質問はしばしば不明瞭であることを知っているので、あなたが何かを理解しないならば、私に知らせてください：私はそれを言い換えようとします）

編集：簡単な例を考えてみましょう：ガウスモデルの下での平均を推測します（さらに単純化するために既知の分散を使用）。ガウス事前分布を考えます。事前平均、事前の逆分散でます。してみましょうの経験的な平均こと。最後に注意してください：。 σ μ 0 β 0をˉ X X I μ = （β 0 μ 0 + $X_i$$\sigma$$\mu_0$$\beta_0$$\bar X$$X_i$$\mu = (\beta_0 \mu_0 + \frac{n}{\sigma^2} \bar X) / (\beta_0 + \frac{n}{\sigma^2} )$

事後分布は次のとおりです。

正しく指定された場合（実際にガウス分布を持っている場合）、この事後には次の素晴らしいプロパティがあります$X_i$

• が共有モデルが事前分布から選択される階層モデルから生成される場合、事後信頼区間は正確なカバレッジを持ちます。データに条件付きで、が任意の間隔にある確率は、事後がこの間隔に帰する確率に等しい$X_i$$\theta$

• 事前分布が正しくない場合でも、信頼できる間隔は、後方への事前の影響がなくなる限界で正しいカバレッジを持ちます。$n\rightarrow \infty$

• 事後はさらに良好な周波数特性を持ちます：事後から構築されたベイズ推定量はすべて許容可能であることが保証され、事後平均は（Cramer-Raoの意味で）平均の効率的な推定量であり、信頼できる間隔は漸近的に信頼区間です。

誤って指定された場合、これらのプロパティのほとんどは理論によって保証されません。アイデアを修正するために、実際のモデルは、学生分布であると仮定しましょう。保証できる唯一の特性（Kleijn et al）は、事後分布が限界実平均に集中することです。一般に、すべてのカバレッジプロパティは消滅します。さらに悪いことに、その限界では、カバレッジプロパティが根本的に間違っていることを保証できます。事後分布は、空間のさまざまな領域に間違った確率を帰します。X i n → $X_i$$X_i$$n \rightarrow \infty$

私のデータセットが対象について知られているすべてではない場合、ベイズのアプローチを検討し、その外生的知識を何らかの形で私の予測に組み込みたいと思います。

例えば、私のクライアントは、ポートフォリオのローンのデフォルトの予測を望んでいます。彼らは、数年間の四半期の履歴データを持つ100件のローンを持っています。延滞（遅延支払い）の発生がいくつかあり、いくつかのデフォルトがありました。このデータセットで生存モデルを推定しようとすると、推定するデータは非常に少なく、予測するには不確実性が大きすぎます。

一方、ポートフォリオマネージャーは経験豊富な人々であり、何人かは借り手との関係の管理に何十年も費やした可能性があります。彼らはデフォルト率がどうあるべきかについてのアイデアを持っています。だから、彼らは合理的な事前を考え出すことができます。数学の特性があり、知的に魅力的に見える事前分布ではなく、注意してください。私は彼らとチャットし、彼らの経験と知識をそれらの事前の形で抽出します。

これで、ベイジアンフレームワークは、事前知識という形で外生的知識とデータを結び付け、純粋な定性的判断と純粋なデータ主導の予測の両方よりも優れた事後性を得るためのメカニズムを私に提供します。これは哲学ではなく、私はベイジアンではありません。私は、ベイジアンツールを使用して、専門知識をデータ駆動型の推定に一貫して取り入れています。

非常に興味深い質問...答えがないかもしれません（しかし、それはそれをより面白くしません！）

すべてのモデルが間違っているというミームについてのいくつかの考え（そして私のブログエントリへの多くのリンク！）：

1. 事実上、仮想モデルはほとんど常に、そして取り返しのつかないほど間違っていますが、これが最善である場合、このモデルに関して効率的または一貫した方法で行動することは依然として理にかなっています。結果の推論により、実際のデータ生成モデル（存在する場合）に「最も近い」形式モデルの評価が生成されます。
2. モデルなしで実行できるベイジアンアプローチが存在します。最新の例は、Bissiri et al。（私のコメント付き）およびワトソンとホームズ（ジュディスルソーと話し合いました）;
3. 接続された方法では、M-open推論を扱うベイジアン統計のブランチ全体が存在します。
4. そして、私は多くのことを好きでまた別の方向であるSafeBayesのアプローチピーターグリュンワルド元見込みの電源として表現ダウン傾斜バージョンの可能性を置き換えるために、アカウントのモデルmisspecificationになります。
5. ゲルマンとヘニングの非常に最近のRead Paperは、この問題に対処していますが、状況は限定的です（そして、ブログにコメントを追加しました）。あなたの質問に関するエントリから議論のための資料を集めることができると思います。
6. ある意味で、ベイジアンは統計学者とモデラーの中でこの側面について最も心配するべきではありません。サンプリングモデルはいくつかの事前の仮定の1つと見なされ、結果はそれらすべての事前の仮定に関連するか、相対的であるためです。

編集： OPの要求に応じて、本文にこのペーパーへの参照を追加しました。

ここでは、単純な経験的ベイジアンとして答えを出しています。

まず、事後分布を使用すると、単純なMLEでは実行できない計算を実行できます。最も単純なケースは、今日の後部が明日の前部であることです。ベイジアン推論は、当然ながら順次更新、またはより一般的にはオンラインまたは複数の情報ソースの遅延組み合わせを可能にします（事前の組み込みは、そのような組み合わせの1つの教科書インスタンスです）。非自明な損失関数を使用したベイジアン決定理論も別の例です。そうでなければ何をすべきかわかりません。

第二に、この答えで、不確実性の定量化は不確実性よりも一般的に優れているというマントラは、定理（あなたが言及したように、私が知る限り）を保証しないため、事実上経験的な問題であると主張します。

科学的努力の玩具モデルとしての最適化

問題の複雑さを完全に把握していると思うドメインは、非常に実用的でナンセンスなものです。ブラックボックス関数の最適化です。我々は順次ポイント照会することができると仮定、おそらく騒々しい観察取得用いて、。私たちの目標は、最小限の関数評価でことです。のx ∈ X、Y = F （X ）+ ε ε 〜N（0 、σ 2）、X * = argを分X F （X $f: \mathcal{X} \subset \mathbb{R}^D \rightarrow \mathbb{R}$$x \in \mathcal{X}$$y = f(x) + \varepsilon$$\varepsilon \sim \mathcal{N}(0,\sigma^2)$$x^* = \arg\min_x f(x)$

ご想像のとおり、特に効果的な方法は、をクエリした場合に何が起こるかの予測モデルを構築し、この情報を使用して次に何をするかを決定することです（どちらかローカルまたはグローバル）。デリバティブを含まないグローバル最適化手法のレビューについては、Rios and Sahinidis（2013）を参照してください。モデルが十分に複雑な場合、これはメタモデルまたはサロゲート関数または応答曲面アプローチと呼ばれます。重要なのは、モデルが点推定値（たとえば、観測に対する動径基底ネットワーク関数の適合）であるか、またはベイジアンであり、何らかの方法で完全な事後分布が得られることです。 F $x^\prime \in \mathcal{X}$$f$$f$ （たとえば、ガウス過程を介して）。

ベイジアン最適化で は、の事後（特に、任意のポイントでの条件付き事後平均と分散の結合）を使用して、原則的なヒューリスティックを介して（グローバル）最適の検索をガイドします。古典的な選択は、現在の最良の点で予想される改善を最大化することですが、最小の場所で予想されるエントロピーを最小化するなど、より洗練された方法もあります（こちらも参照）。$f$

ここでの経験的な結果は、部分的に誤って指定されていても、後部にアクセスできれば、一般に他の方法よりも良い結果が得られることです。（高次元の場合のように、ベイジアン最適化がランダム検索よりも優れていないという注意事項と状況があります。）このペーパーでは、BOを使用するのが便利かどうかを確認しながら、新しいBOメソッドと他の最適化アルゴリズムの経験的評価を実行します実際には、有望な結果が得られます。

あなたが尋ねたので、これは他の非ベイジアン手法よりも計算コストがはるかに高く、なぜベイジアンである必要があるのか​​疑問に思っていました。ここでの仮定は、真の評価に関わるコストという点である（例えば、実際のシナリオでは、複雑なエンジニアリングや機械学習実験は）ので、ベイジアンがあること、ベイジアン解析のための計算コストよりもはるかに大きい報わ。$f$

この例から何を学ぶことができますか？

まず、ベイジアン最適化がまったく機能しないのはなぜですか？モデルは間違っていると思いますが、それほど間違っているとは限りません。通常の間違いは、モデルの目的によって異なります。たとえば、の正確な形状は、その単調変換を最適化できるため、最適化には関係ありません。自然はそのような不変性に満ちていると思います。そのため、私たちが行っている検索は最適ではないかもしれません（つまり、良い情報を捨てている）かもしれませんが、不確実性情報がない場合よりも優れています。$f$

第二に、この例は、ベイジアンであるかどうかの有用性がコンテキストに依存する可能性があることを強調しています。たとえば、相対的なコストと利用可能な（計算）リソースの量です。（もちろん、あなたが筋金入りのベイジアンであるなら、すべての計算は何らかの事前および/または近似の下でベイジアン推論であると信じています。）

最後に、大きな疑問があります。つまり、私たちが使用しているモデルは、結局のところ、後世がまだ有用であり、統計的なゴミではないという意味で、それほど悪くないのでしょうか。自由昼食の定理を採用する場合、明らかに多くのことは言えないはずですが、幸運なことに、完全にランダムな（または敵対的に選ばれた）関数の世界に住んでいません。

より一般的には、「哲学的」タグを付けたので...誘導の問題の領域、または統計科学における数学の不合理な有効性（具体的には、数学的な直観とモデルを指定する能力）それは実際に機能します）-純粋に先験的な観点から、推測が良好であるか、何らかの保証が必要な理由はありません（そして、間違いなく、物事が間違っている数学的な反例を構築することができます）実際にうまく機能するように。

私はこれを今日だけ見ますが、私は専門家であり、少なくとも2つの回答（3と20（私の作品西安を参照してください！） SafeBayes-特にG.とvan Ommen、「誤って指定された線形モデルのベイジアン推論の不一致、および修復の提案」（2014）。また、コメント2に何かを追加したいと思います。

2は次のように述べています：（仕様が間違っている場合のベイズの利点は...）「まあ、ベイジアンのアプローチは正則化です。それは過剰適合を防ぐための何かです。正規化された古典的アプローチ（投げ縄など）に対するベイジアン推論の引数」

これは事実ですが、ベイジアンのアプローチが十分に正規化されない可能性があることを追加することが重要です モデルが間違っている場合。これがVan Ommenの研究の主要なポイントです。標準ベイズは、間違っているが非常に有用なモデルを使用した回帰コンテキストでかなりひどくオーバーフィットしていることがわかります。MLEほど悪くはありませんが、それでも使い道がありません。（頻度論的およびゲーム理論的）理論的な機械学習には、ベイズと同様の方法を使用するが、はるかに小さい「学習率」で全体の仕事があります-前のものをより多くし、データをより重要ではなく、したがってより多くを正規化します。これらの方法は、最悪の状況（仕様の誤り、さらに悪いことに、敵対的なデータ）でうまく機能するように設計されています-SafeBayesアプローチは、データ自体から「最適な学習率を学習する」ように設計されています-そしてこの最適な学習率、すなわち最適な量正則化の

関連して、ベイズはKL発散で「真理」に最も近い分布に事後集中するという民間定理（上記のいくつかで言及）があります。しかし、これは非常に厳しい条件下でのみ有効です。明確に指定された場合の収束に必要な条件よりもはるかに厳しいです。標準の低次元パラメトリックモデルを扱っており、データが何らかの分布（モデル内ではない）に従ってiidである場合、事後分布は実際にKL発散の真理に最も近いモデル内のポイントに集中します。大規模なノンパラメトリックモデルを扱っており、モデルが正しい場合、（本質的に）後部は十分なデータを与えられた真の分布に集中しますが、事前分布が真の分布の周りに小さなKLボールに十分な質量を置いている限り。これはモデルが正しい場合、ノンパラメトリックの場合の収束に必要な弱い条件。

ただし、モデルがノンパラメトリックでありながら正しくない場合、前の質量がそこに1（！）に近い場合でも、後部は単純に最も近いKLポイントに集中しない可能性があります-時間が経つにつれて、最高のものに近づくことはありません。私の論文には、この出来事のいくつかの例があります。誤った仕様の下で収束を示す論文（例：Kleijnやvan der Vaart）は、多くの追加条件を必要とします。たとえば、モデルが凸であるか、事前が特定の（複雑な）特性に従う必要があります。これは、「厳しい」条件という意味です。

実際には、パラメトリックでありながら非常に高次元のモデルを扱うことがよくあります（ベイジアンリッジ回帰など）。その後、モデルが間違っている場合、最終的には後部はモデル内の最高のKL分布に集中しますが、ノンパラメトリック不整合のミニバージョンは依然として保持されます。収束が起こる前に、さらに多くのデータが必要になる場合があります。ヴァンオメンが例を挙げます。

SafeBayesのアプローチは、明確に指定された場合と同じ条件（つまり、モデルのKL最適分布に近い十分な事前質量）でノンパラメトリックモデルの収束を保証する方法で標準ベイを変更します（G. and Mehta、2014 ）。

次に、ベイズが仕様ミスの下で正当化さえできるかどうかという問題があります。IMHO（および上記のいくつかの人々によっても言及されているように）、ベイズの標準的な正当化（許容性、野av人、デ・フィネッティ、コックスなど）はここでは保持されません（モデルが誤って指定されていることに気付いた場合、確率はあなたの本当の信念を表さないためです） ！）。しかし、多くのベイズメソッドは「最小記述長（MDL）メソッド」として解釈することもできます。MDLは、「データから学習する」と「データを可能な限り圧縮する」と同等の情報理論的な方法です。（一部の）ベイジアン手法のこのデータ圧縮の解釈は、誤った仕様のもとで有効です。まだいくつかあります誤った仕様の下で保持される基本的な解釈-それにもかかわらず、van Ommenとの私の論文（および元の投稿で言及された信頼区間/信頼できる集合の問題）が示すように、問題があります。

そして、元の投稿についての最後の発言：ベイズの「許容性」の正当化について言及しています（1940年代/ 50年代のWaldの完全なクラスthmに戻ります）。これが本当にベイズの正当化であるかどうかは、「ベイジアン推論」の正確な定義に大きく依存します（研究者によって異なります）。その理由は、これらの許容結果により、サンプルサイズや関心の損失関数などの問題の側面に依存する事前分布を使用できる可能性があるためです。ほとんどの「実際の」ベイジアンは、変更を処理する必要があるデータ、または対象の損失関数が突然変更された場合。たとえば、厳密に凸の損失関数では、ミニマックス推定量も許容されます-通常はベイジアンとは考えられていません！その理由は、固定サンプルサイズごとに、特定の事前分布を持つベイズに相当しますが、事前分布はサンプルサイズごとに異なるためです。

これが役立つことを願っています！

通常のバイアスと分散のトレードオフがあります。M閉の場合[1、2]を仮定したベイズ推定では、分散が小さくなります[3]が、モデルの仕様が間違っている場合、バイアスはより速く成長します[4]。M-openケース[1,2]を想定してベイジアン推論を行うこともできます。[1,2]の分散は大きくなります[3]が、モデルの仕様ミスの場合、バイアスは小さくなります[4]。ベイズのM閉とM開のケース間のバイアスと分散のトレードオフの議論は、以下の参考文献に含まれる参考文献の一部にも現れていますが、明らかにもっと必要なものがあります。

[1] Bernardo and Smith（1994）。ベイジアン理論。ジョン・ワイリー＆サンズ。

[2] Vehtari and Ojanen（2012）。モデルの評価、選択、比較のためのベイジアン予測法の調査。統計調査、6：142-228。http://dx.doi.org/10.1214/12-SS102

[3] Juho PiironenとAki Vehtari（2017）。モデル選択のためのベイズ予測方法の比較。Statistics and Computing、27（3）：711-735。http://dx.doi.org/10.1007/s11222-016-9649-y。

[4] Yao、Vehtari、Simpson、およびAndrew Gelman（2017）。スタッキングを使用して、ベイジアン予測分布を平均化します。arXivプレプリントarXiv：1704.02030 arxiv.org/abs/1704.02030

以下に、誤って指定されたモデルでベイジアン推論を正当化する他のいくつかの方法を示します。

• サンドイッチ式を使用して、事後平均に信頼区間を作成できます（MLEを使用する場合と同じ方法で）。したがって、信頼できるセットにはカバレッジがありませんが、関心がある場合は、ポイント推定器で有効な信頼区間を作成できます。

• 事後分布を再スケーリングして、信頼できるセットにカバレッジがあることを確認できます。

Müller、Ulrich K.「誤って指定されたモデルにおけるベイジアン推論のリスク、およびサンドイッチ共分散行列。」計量経済学81.5（2013）：1805-1849

• ベイズ規則には非漸近的な正当化があります：事前条件がで対数尤度が場合、技術条件を省略し、事後はを最小化する分布です オーバーすべての分布。最初の用語は期待されるユーティリティのようなものです。高い可能性をもたらすパラメータに重点​​を置きたいと考えています。2番目の用語は正規化されます。つまり、先ほどのKLとの小さな相違が必要です。この式は、事後が最適化するものを明示的に示しています。これは、人々が対数尤度を別のユーティリティ関数に置き換える準尤度のコンテキストで多く使用されます。$p(\theta)$$\ell_n(\theta)$$-\int \ell_n(\theta) d\nu(\theta) + \int \log\!\Big(\frac{\nu(\theta)}{p(\theta)}\Big)d\nu(\theta)$$\nu(\theta)$

データの実際のモデルと仮定異なりのすべての値に対して$p_{true}(X)$$p(X|\theta)$$\theta$

この仮定のベイジアン解釈は、追加のランダム変数が存在することであると値その範囲内よう。あなたの事前知識はおよび 。次に、は適切な確率分布ではありません。$\phi$$\phi_0$$\phi_0$$\int p(X|\theta,\phi=\phi_0) \mathrm{d}\theta =0$$p(\phi=\phi_0)\propto 1$$p(\phi\neq\phi_0)=0$$p(\theta|X,\phi=\phi_0)=0$

このケースは、ロジックの同様の推論ルールに対応します。つまり、矛盾からは何も推論できません。結果は、ベイジアン確率理論が、事前知識がデータと一致しないことを示す方法です。誰かが後部の導出でこの結果を得ることに失敗した場合、それは定式化がすべての関連する事前知識をエンコードできなかったことを意味します。この状況の評価に関しては、Jaynesに引き渡します（2003、p.41）：$A, \neg A \vdash \emptyset$$p(\theta|X,\phi=\phi_0)=0$

...命題のセットを検索し、矛盾が存在する場合はそれらを検出できる強力な分析ツールです。原則は、矛盾する前提条件付きの条件が存在しないことです（仮説空間は空集合に縮小されます）。したがって、ロボットを動作させます。すなわち、命題セットを条件とする確率を計算するコンピュータープログラムを作成します。 検査で矛盾が明らかでなくても、隠された矛盾がある場合$p(B|E)$$E= (E_1,E_2,\dots,E_n)$$E$、コンピュータープログラムがクラッシュします。私たちはこれを経験的に発見しました」と考えた後、それはがっかりの理由ではなく、問題の定式化が破綻する可能性のある予期せぬ特別なケースについて警告する貴重な診断ツールであると認識しました。

言い換えれば、問題の定式化が不正確な場合-モデルが間違っている場合、ベイジアン統計はこれが事実であることがわかり、モデルのどの側面が問題の原因であるかを見つけるのに役立ちます。

実際には、どの知識が関連するのか、それを派生に含めるべきかどうかは完全には明らかではないかもしれません。その後、さまざまなモデルチェック手法（Gelman et al。、2013の第6章と第7章の概要を提供）を使用して、不正確な問題の定式化を見つけて特定します。

Gelman、A.、Carlin、JB、Stern、HS、Dunson、DB、Vehtari、A。、およびRubin、DB（2013）。ベイジアンデータ分析、第3版。チャップマン＆ホール/ CRC。

ジェインズ、ET（2003）。確率論：科学の論理。ケンブリッジ大学出版局。

MLEは、指定したモデルのパラメーターの推定量であり、正しいと見なされます。頻繁なOLSの回帰係数はMLEで推定でき、それに付加するすべてのプロパティ（不偏、特定の漸近分散）は、非常に特定の線形モデルが正しいと仮定します。

私はこれをさらに一歩進めて、意味と特性を推定器に帰したいたびに、モデルを仮定する必要があると言います。単純なサンプル平均をとっても、データは交換可能であり、しばしばIIDであると想定しています。

現在、ベイジアン推定量には、MLEにはないかもしれない多くの望ましい特性があります。たとえば、多くの状況で望ましい部分的なプーリング、正則化、および事後の解釈可能性。

ゲルマンとシャリジの哲学とベイジアン統計の実践をお勧めします。これらは、これらの質問に対して一貫した、詳細かつ実用的な回答を持っています。

私たちは、ベイジアン推論のこの受信されたビューのほとんどが間違っていると思います。ベイジアン法は、他の統計的推論モードよりも帰納的ではありません。ベイズのデータ​​分析は、仮説演ductive的観点からよりよく理解されます。最良のベイジアン実践における暗黙の姿勢は、メイヨー（1996）のエラー統計的アプローチと多くの共通点を持っていますが、後者は頻繁に指向されています。実際、モデル検査などのベイジアンデータ分析の重要な部分は、メイヨーの意味では「エラープローブ」として理解できます。

経験的社会科学研究におけるベイジアンデータ分析の具体的なケースと、ベイジアン更新の一貫性と収束に関する理論的結果の調査を組み合わせて進めます。社会科学的データ分析は、このドメインでは使用中のすべてのモデルが間違っているという一般的な合意があるため、私たちの目的にとって特に顕著です。十分なデータ（多くの場合、かなり適度な量）があれば、アナリストは現在使用中のモデルを希望する信頼レベルまで拒否できます。それにもかかわらず、モデルのフィッティングは貴重な活動であり、実際にデータ分析の核心です。これがなぜそうなのかを理解するために、モデルがどのように構築、適合、使用、チェックされるか、およびモデルに対する仕様の誤りの影響を調べる必要があります。

...

私たちの見解では、[標準的なベイジアンビューの]最後の段落の説明は非常に間違っています。データ分析プロセス（ベイジアンまたはその他）は、パラメーター推定値または事後分布の計算で終わりません。むしろ、フィットしたモデルの意味を経験的証拠と比較することにより、モデルをチェックできます。当てはめられたモデルからのシミュレーションが元のデータに似ているかどうか、当てはめられたモデルがモデルの当てはめに使用されていない他のデータと一致しているかどうか、モデルが言う変数がノイズ（「誤差項」）かどうかなどの質問をします実際には、容易に検出可能なパターンが表示されます。モデルとデータの不一致を使用して、モデルが手元の科学的目的に不十分である方法について学習し、モデルの拡張と変更を促すことができます（セクション4）。

モデルの不確実性の影響を説明していると思います- データを考慮した未知のパラメーターに関する推論は 、データだけでなく、モデル、 も依存することを心配しています。が信じられないモデルである場合はどうなりますか？代替モデルが同じ未知のパラメータで、存在する場合、あなたは、ベイズモデル平均でモデルの不確実性を過小評価することができます 、これはですが、考慮されるモデルとその事前の機能。$x$$d$$m$

一方、パラメータの定義が本質的にモデル結び付けられており、選択肢がない場合、に関する推論がを条件とすることは驚くことではありません。 $x$$m$$x$$m$

「誤って指定された」モデルとはどのように定義しますか？これはモデルを意味しますか...

• 「悪い」予測をする？
• いくつかの「真のモデル」の形式ではありませんか？ $p_{T}(x)$
• パラメータが欠落していますか？
• 「悪い」結論につながる？

特定のモデルが誤って指定される可能性がある方法を考えると、基本的に、より良いモデルを作成する方法に関する情報を抽出することになります。その追加情報をモデルに含めてください！

ベイジアンフレームワークの「モデル」とは何かを考えると、いつでも間違って指定できないモデルを作成できます。これを行う1つの方法は、現在のモデルにさらにパラメーターを追加することです。さらにパラメーターを追加することにより、モデルをより柔軟で順応性のあるものにします。機械学習の方法は、この考えを最大限に活用します。これは、「ニューラルネットワーク」や「回帰ツリー」などの根底にあります。ただし、事前確率について考える必要があります（MLの正規化と同様）。

たとえば、例として「線形モデル」を指定したので、次のようになります。 Where。各観測値に新しいパラメーターを追加するとします。... ここで、は以前と同じです。これは物事をどのように変えますか？「モデル2がtrueの場合、モデル1の指定が間違っている」と言えます。しかし、モデル2には多くのパラメーターがあるため、推定が困難です。また、に関する情報が重要な場合、モデル1が「間違っている」かどうかは問題になりますか？
、E 、I〜N （0 、1 ）モデル2：  X I = θ + σ E

（「モデル2a」のようなと仮定すると、基本的に「通常のエラー」ではなく「コーシーエラー」が発生し、モデルはデータの外れ値を予期します。したがって、モデルにパラメーターを追加し、それらの事前分布を選択することにより、「より堅牢なモデル」を作成しました。ただし、モデルは依然として誤差項で対称性を期待しています。別の事前を選択することにより、これも同様に説明できます...$w_i\sim N (0,1)$