ベイジアンは、彼らのアプローチが一般化/頻繁なアプローチと重複するケースがあると主張しますか？

12

ベイジアンは、彼らのアプローチが頻繁なアプローチを一般化すると主張することがあります。なぜなら、情報のない事前分布を使用できるため、典型的な頻繁なモデル構造を回復できるからです。

この議論が実際に使用されている場合、誰かが私にこの議論について読むことができる場所を紹介してもらえますか？

編集：この質問は、おそらく私がそれを言い表すつもりではなかった言い回しです。問題は、「ベイジアンアプローチと頻度主義的アプローチが重なり合う/交差する/特定の事前分布を使用して共通するものがある場合の議論への参照があるかどうか」です。1つの例は、不適切な事前を使用することですが、これは氷山の一角にすぎないと確信しています。 $p(\theta) = 1$

bayesian references frequentist

— シンゲルトン
ソース

2

グリーンバーグのベイズ計量経済学入門でこの議論がなされたことを思い出しますが、私は肯定的ではなく、より良い参照があるかどうかはわかりません。さらに、私はそれが事前の選択だけでなく、事前の信頼でもあると信じています。

— ジョン

3

頻度の高い人がベイズのアプローチを一般化するという良い議論があります！これは、理論家またはデータによって正当化された場合に、頻繁に事前分布を使用するのに満足しているが、さらに、ベイジアンが触れない方法を使用するためです。:-)

— whuber

3

彼らはそのようから始まる全く異なるアプローチです確率が解釈されます（たとえば、 リンクを）。さらに、情報の一意の（または受け入れられた）定義がないという理由だけで、情報価値のない事前の一意の（受け入れられない）定義はありません。推定量が量的に同じであっても、頻度の高い推定量とベイズ推定量の解釈は異なります。前のコメントで述べたように、「オレンジはリンゴを一般化すると言っているようなものです」。

1

@Procrastinator私はそれらが常に交差するわけではないことに完全に同意します。そうした場合の議論を探しています。「ベイジアン統計と頻出統計が事前分布を使用して何らかの方法で重複する議論への参照はありますか？」という質問を再構成させてください。1つの例は、不適切な事前

を使用することです。しかし、これは本当に氷山の一角だと思います。

p (θ) = 1

$p(\theta) = 1$

— singelton

1

@Procrastinatorはい、ありがとう！それはまさに私が探している種類の議論です（しかし、それはまだ氷山の一角であると推測しています）。私はそれを徹底的に行う本を見つける必要があるだけで、それを見つけることができませんでした。私は探し続けます。再度、感謝します。（ほとんどの書籍は、頻度主義的アプローチまたはベイジアンアプローチのいずれかに焦点を当てていますが、この2つをあなたのやり方と比較しないでください。）

— singelton

11

ベイジアン分析は、頻度分析の一般化であるという2つの議論が進んでいます。どちらもやや口調が悪く、コンテキストとして事前分布を使用することで、回帰モデルに関する仮定を人々に認識させるようになりました。

引数1：頻度分析は、ゼロを中心とする純粋に情報価値のない事前分布を使用したベイズ分析です（はい、中心がどこにあるかは関係ありませんが、それは無視します）。これは、ベイジアンが頻度分析の結果を抽出するコンテキストの両方を提供し、MCMCなどの「ベイジアン」手法を使用して逃げることができる理由を説明します。「データが自分自身のために語っている」などと言うとき、彼らが実際に言っているのは、事前に、すべての価値が等しくありそうだということを認識することです。

引数2：モデルに含めない回帰項には、事実上、分散のないゼロを中心とする事前分布が割り当てられています。これは「ベイジアン分析は一般化」ではなく、「あなたの頻繁なモデルでさえ、どこにも事前分布がある」という議論ではありません。

— フォマイト
ソース

3

+1引数2は興味深いです。引数1に関する2つのコメント：1.情報価値のないフラットな優先順位を言います（後者は、もしあったとしても誤った呼び名です）。2.頻度分析でMCMCの使用を動機付けるために事前確率について話す必要はありません。この数値的手法については、本質的にベイジアンはありません！

— MånsT

ありがとう、EpiGrad。あなたが言及した2つの議論について議論する参考文献はありますか？

— -singelton

1

+1大丈夫、人々が理解を深めるのは、口をそろえるのは頬舌だと理解している限りです。しかし、真剣に受け取らないでください！

— マイケルR.チャーニック

@MånsT-MCMC を使用する理由を必要としないことに同意しましたが、純粋に数値的な手法ではなく、ベイジアン領域の何かとして人々の心の中に存在することがわかりました。これは、それらを押しのけるのに役立ちます。

— フォマイト

@bayesianOrFrequentist本当にないわけじゃない。

— フォマイト

6

簡単な答えはおそらく「はい-そして、この議論が成立する前にフラットさえ必要ない」でしょう。

たとえば、最大事後（MAP）推定は、事前確率を含む最尤法の一般化であり、この値を見つけることと分析的に等価な頻度論的アプローチがあります。頻度の高い人は、尤度関数の「制約」または「ペナルティ」として「前」を再ラベル付けし、同じ答えを取得します。そのため、哲学が異なっていても、頻度論者とベイジアンの両方が、最良のパラメータ推定値であると同じことを指し示すことができます。この頻繁な論文のセクション5は、それらが同等である1つの例です。

長い答えは、「はい、しかし、2つのアプローチを区別する分析の他の側面がしばしばあります。それでも、これらの違いでさえ、多くの場合、必ずしも鉄で覆われているわけではありません。」

たとえば、ベイジアンは、都合のよいときにMAP推定（事後モード）を使用する場合がありますが、通常、代わりに事後平均を強調します。一方、事後平均には、「バギング」推定（「ブートストラップ集約」からの推定）と呼ばれる、ほとんど区別できない頻度の類似体もあります（この引数の例については、このpdfを参照してください）。したがって、それは実際には「難しい」区別でもありません。

実際には、このことは、ベイジアンが完全に違法と見なす（またはその逆）ことを頻繁に行う場合でも、（少なくとも原則として）ほぼ同じanserを与える他のキャンプからのアプローチがあることを意味します。

主な例外は、一部のモデルは頻繁な観点から適合させるのが本当に難しいことですが、それは哲学的なものというよりも実際的な問題です。

— デビッド・J・ハリス
ソース

どうもありがとう。あなたの答えは役に立ちます。また、この点について詳しく説明しているリファレンスも探しています。私は、ベイジアンの議論が情報価値のない事前分布に関するものであり、それらを頻度主義的アプローチに還元する方法を知りたい。私はその背後にある技術的なポイントを完全に理解しています（たとえば、可能性に1を掛けるだけで...可能性を得ることができます:-)）が、より適切な議論を探しています。

— singelton

1

多くの若者が歴史を知らないか、ベイジアンのパラダイムの本質を理解していないことがわかりました。それを頻度主義的アプローチの一般化と呼ぶことは、これらのパラダイムの比較を本当に誤って伝えています。Procrastinatorsのコメントを取り、わずかに異なる方法でそれを入れて、私はこれはAppleがちょうど特大オレンジ、であるというようなものであると言うだろう

— マイケルR. Chernick

@DavidJHarris私はあなたの答えが好きではありませんでした。技術的には、指摘する関係は正当なものですが、短い答えで「はい」と言うと間違った印象を与えます。ベイジアンは、彼らのパラダイムを周波数主義統計の一般化と呼びたくないと思う。用語は完全にベイジアン、経験ベイジアンであり、ベイジアン関連のパラダイムを区別する可能性がありますが、ベイジアンはベイジアンパラダイムのこれらの分岐を呼び出すことに反対するかもしれません。

— マイケルR.チャーニック

2

@MichaelChernickポイントを取得しました。ベイジアンの統計と哲学のすべてに頻度の高い類似物があり、その逆であることを意味するつもりはありませんでしたが、どちらかのキャンプから同じ仕事を達成する方法を見つけることができ、ベイジアンのアプローチは2つのより柔軟。Procrastinatorが他の場所で指摘しているように、おそらく、2つの学校から得られるパラメーター推定値が同一であっても、それらは異なって解釈されるべきであることを強調すべきでした。

— デビッドJ.ハリス

@DavidJHarris。私はあなたの言うことすべてに同意しますが、一般化という用語の使用は例外とします。

— マイケルR.チャーニック

3

エドウィン・ジェーンズは、ベイジアン推論と頻度論的推論の関係を強調するのに最も優れた人物の1人でした。非常に徹底的な比較として、彼の紙の信頼区間とベイジアン間隔（グーグル検索がそれをもたらします）-そして私は公正なものだと思います。

小領域推定は、ML / REML / EB / HB回答が近い傾向がある別の領域です。

— 確率論
ソース

2

これらのコメントの多くは、「頻度」が「最尤推定」を意味すると想定しています。一部の人々は異なる定義を持っています：「frequentist」は、推論方法の長期推論特性の分析のタイプを意味します-それはベイジアン、モーメント法、最尤、または非確率論的なもの用語（SVMなど）など

— ブレンダン・オコナー
ソース

1

ステファンや他のベイジアンの専門家からこれについて聞いてみたい。それは一般化ではなく異なるアプローチだからです。別の文脈では、これは以前にここで議論されました。フラットな事前分布が、フラットな事前分布をもつベイジアン法が頻繁に行われる可能性が最も高い結果に近いという理由だけで考えてはいけません！それは誤った推定であり、事前にarbitrary意的とすることにより、他の可能な事前に一般化されていると考えるようになります。私はそうは思いませんし、ほとんどのベイジアンもそうではないと確信しています。

だから一部の人々はそれを主張しますが、私は彼らがベイジアンに分類されるべきではないと思います

ステファンは強力な分類の難しさを指摘していますが。厳密に言えば、単語がこれまでにある場合、ベイジアンの定義方法に依存する可能性があります。

— マイケル・R・チャーニック
ソース

（+1）これらは完全に異なるアプローチです。オレンジはリンゴを一般化すると言っているようなものです。

5

たくさんのオレンジを食べて、リンゴを食べないと、そう思うでしょう。

— アルフレッドM.

これは事実ですが、最尤法は頻繁な推論を行う数少ない一般的な手順の1つです。そのため、頻繁なメソッドに関する一般的な議論では、常に過剰に表現されます。GREGなどの調査サンプリングが言及されていないことに驚いています。

— 確率論的