モデルの不確実性への対処

25

CrossValidatedコミュニティのベイジアンがモデルの不確実性の問題をどのように見ているのか、そしてどのようにそれを処理することを好むのかと思いまして。私は2つの部分で質問を投げかけます。

モデルの不確実性に対処することは（あなたの経験/意見において）どのくらい重要ですか？機械学習コミュニティでこの問題を扱った論文を見つけていないので、なぜだろうと思っています。
モデルの不確実性を処理するための一般的なアプローチは何ですか（参照を提供する場合のボーナスポイント）？ベイジアンモデルの平均化について聞いたことがありますが、このアプローチの具体的な手法や制限についてはよく知りません。他に何があり、なぜあなたは別のものよりも1を好むのですか？

machine-learning bayesian model-selection

— ニック
ソース

1

あまり一般的ではない方法（人気が高まっている）は、モデルの予測パフォーマンスを評価するスコアリングルールです。

17

モデル選択を扱う際に生じる2つのケースがあります。

真のモデルがモデル空間に属している場合。

これは、BICを使用して処理するのが非常に簡単です。BICが真のモデルを高い確率で選択することを示す結果があります。

ただし、実際には、真のモデルを知ることは非常にまれです。私はBICがこのために誤用される傾向があることに注意しなければなりません（おそらく理由はAICと同様の外観です）。これらの問題は、さまざまな形で以前にこのフォーラムで対処されています。良い議論がここにあります。

真のモデルがモデル空間にない場合。

これは、ベイジアンコミュニティの活発な研究分野です。ただし、この場合、モデル選択基準としてBICを使用することは危険であることを人々が知っていることが確認されています。高次元データ分析の最近の文献はこれを示しています。その一例があり、この。ベイズ因子は、高次元で驚くほど優れたパフォーマンスを発揮します。mBICなど、BICのいくつかの修正が提案されていますが、コンセンサスはありません。GreenのRJMCMCは、ベイジアンモデル選択を行うもう1つの一般的な方法ですが、独自の欠点があります。これについてさらにフォローアップできます。

モデルの平均化を推奨する別のキャンプがベイジアン世界にあります。特筆すべきは、ラフティ博士。

ベイジアンモデルの平均化。

Chris VolinksyのこのWebサイトは、ベイジアンモデルの平均化の包括的な情報源です。他の作品もここにあります。

繰り返しになりますが、ベイジアンモデル選択は依然として研究の活発な分野であり、尋ねる人によって非常に異なる答えが得られる場合があります。

— スンクールス
ソース

高次元では良好に機能するが、BICのパフォーマンスが低いベイズ因子についてのメモは、BIC近似が行う決定要因を無視した結果と考えられます。BICはとして近似しここで、は有益な情報であり、は予想される情報です。パラメーター空間の次元が大きい場合、特にモデル間でパラメーターの次元に非常に大きな変動がある場合、は不十分な近似です。

\log | A_{n} | \approx \log | n A_{1} | = p \log n + \log | A_{1} |

$\log|A_n|\approx\log|nA_1|=p\log n+\log|A_1|$

A_{n}

$A_n$

A_{1}

$A_1$

\log | A_{1} | = O (1)

$\log|A_1|=O(1)$

— 確率

それはまた、同様にパフォーマンスの低いラプラス近似によるものであろう

— probabilityislogic

11

「真の」ベイジアンは、すべてのもっともらしいモデルを辺縁化（統合）することにより、モデルの不確実性に対処します。したがって、例えば線形リッジ回帰問題では、回帰パラメーター（ガウス事後があるため、分析的に行うことができます）を無視しますが、たとえばMCMCを介してハイパーパラメーター（ノイズレベルと正則化パラメーター）を無視します。メソッド。

「より少ない」ベイジアンソリューションは、モデルパラメーターをマージナライズすることですが、モデルのマージナル尤度（「ベイジアンエビデンス」とも呼ばれます）を最大化することでハイパーパラメーターを最適化します。しかし、これはより予想されるよりも、オーバーフィッティングにつながることができます（たとえば、参照Cawleyとタルボットを）。機械学習における証拠の最大化に関する情報については、David MacKayの研究をご覧ください。比較のために、同様の問題に対する「すべてを統合する」アプローチに関するラドフォードニールの研究を参照してください。エビデンスフレームワークは、統合の計算が高すぎる状況では非常に便利であるため、両方のアプローチに範囲があることに注意してください。

効果的にベイジアンは最適化するのではなく統合します。理想的には、ソリューションの特性（滑らかさなど）に関する以前の信念を述べ、実際にモデルを作成することなく、概念的に予測を行います。機械学習で使用されるガウスプロセスの「モデル」はこの考え方の例であり、共分散関数はソリューションに関する以前の信念をエンコードします。ラスムッセンとウィリアムズのすばらしい本をご覧ください。

実用的なベイジアンの場合、常に相互検証が行われます。ほとんどの場合、勝つことは困難です。

— ディクラン・マースピアル
ソース

11

「モデルの不確実性」の世界で私が見つけた興味深いことの1つは、「真のモデル」の概念です。これは、「モデル命題」が次の形式であることを暗黙的に意味します。

M_{i}^{(1)} : The ith model is the true model

$M_i^{(1)}:\text{The ith model is the true model}$

そこから事後確率を計算します。この手順は、概念レベルでは非常に疑わしいようです。命題が網羅的であると仮定することは、大きな呼びかけ（または不可能な計算）です。作成できるモデルのセットには、まだ考えていない代替モデルが必ずあります。無限回帰も同様です... $P(M_i^{(1)}|DI)$ $M_i^{(1)}$

ここでは網羅性が非常に重要です。これにより、確率が1に加算されるため、モデルを無視することができるためです。

しかし、これはすべて概念レベルです。モデルの平均化は優れたパフォーマンスを発揮します。したがって、これはより良いコンセプトがなければならないことを意味します。

個人的に、私はモデルをハンマーやドリルのようなツールと見なしています。モデルとは、観察可能なものについて予測したり記述したりするために使用される精神的な構成要素です。「真のハンマー」について話すのは非常に奇妙に聞こえますが、「真のメンタルコンストラクト」について話すのも同様に奇異です。これに基づいて、「本当のモデル」という概念は私には奇妙に思えます。「正しい」モデルや「間違った」モデルではなく、「良い」モデルや「悪い」モデルを考える方がはるかに自然に思えます。

この観点から、モデルの選択から、使用する「最良の」モデルについても同様に不確かになる可能性があります。したがって、代わりに命題について推論するとします。

M_{i}^{(2)} : Out of all the models that have been specified,

$M_i^{(2)}:\text{Out of all the models that have been specified,}$

the ith model is best model to use

$\text{the ith model is best model to use}$

$M_{i}^{(2)}$ $M_{i}^{(2)}$

ただし、このアプローチでは、「最適な」モデルがどれだけ優れているかを測定するために、何らかの適合度の尺度が必要です。これは、通常のGoF統計（KL発散、カイ2乗など）に相当する「確実な」モデルに対してテストすることにより、2つの方法で実行できます。これを評価するもう1つの方法は、非常に柔軟なモデルをモデルのクラスに含めることです。おそらく、数百のコンポーネントを持つ通常の混合モデル、またはディリクレプロセス混合です。このモデルが最適である場合は、他のモデルが不十分である可能性があります。

このホワイトペーパーでは、理論的に優れた議論があり、実際にモデルを選択する方法の例を順を追って説明します。

— 確率論
ソース

大きな+1。非常に思慮深く、明確な分析。

— whuber

素晴らしい答え。モデルの特定のクラスから判断すると、BICは素晴らしいことを言及する必要があります。ただし、ほとんどの場合、おっしゃるように、真のモデルはモデル空間の外にあります。それから、あなたが言及したように、真のモデルと「最良のモデル」の間の近さは理にかなっています。これらは、AICおよび他のICが回答しようとする回答です。BMAは機能しますが、機能しないことも示されています。これは悪いことではありませんが、普遍的な代替手段として考えるときは注意が必要です。

— -suncoolsu

1

C R A P = C R A P = \frac{1}{N} \sum_{i = 1}^{N} C R A P_{i}

$CRAP=CRAP=\frac{1}{N}\sum_{i=1}^{N} CRAP_i$

4

suncoolsuが言ったように、人々はDICとBayes因子を使用することを知っています。そして、彼が「BICが真のモデルを高い確率で選択することを示す結果があります」と言ったときに興味がありました（参考文献？）。しかし、私が知っているのは、Andrew Gelmanが支持する事後予測チェックだけです。Andrew Gelmanと事後予測チェックをグーグルで検索すると、多くのものが見つかります。そして、私はクリスチャンロバートが ABC でモデルの選択について書いているものを見たいと思います。いずれにせよ、ここに私が好きな参考文献と、Gelmanのブログの最近の投稿があります。

ブログ

DICおよびAIC ; DICの詳細。モデル検査と外部検証

事後予測チェックに関する論文：

ゲルマン、アンドリュー。（2003a）。「探索的データ分析と適合度テストのベイズ式」。国際統計レビュー、vol。71、n.2、pp。389-382。

ゲルマン、アンドリュー。（2003b）。「複雑なモデルの探索的データ分析」。Journal of Computational and Graphic Statistics、vol。13、n。4、pp。755/779。

ゲルマン、アンドリュー; MECHELEN、Iven Van; VERBEKE、Geert; ハイジャン、ダニエル・F。MEULDERS、ミシェル。（2005）。「モデル検査の多重代入：欠損データと潜在データを含む完全なデータプロット。」Biometrics 61、74–85、March

ゲルマン、アンドリュー; MENG、Xiao-Li; スターン、ハル。（1996）。「不一致の実現によるモデルフィットネスの事後予測評価」。Statistica Sinica、6、pp。733-807。

— マノエル・ガルディーノ
ソース