ベイジアン統計は、事前分布の欠如をどのように処理しますか？

この質問は、私が最近行った2つのやり取りからインスピレーションを受けました。1つはCVで、もう1つはEconomics.seでのやり取りです。

そこに、私は答え掲示していた有名な「封筒パラドックス」（ないとして、あなたを気にする「正しい答え」が、状況の構造に関する特定の仮定から流れる答えとして）。しばらくして、ユーザーが重要なコメントを投稿し、私は彼の主張を理解しようと会話を始めました。彼がベイズの方法を考えていたことは明らかだった、と事前確率の話を保持-そしてそれは私に夜が明けた、と私は私の自己に言った： "待っ分、任意の前について何か言った？ように私が策定しています問題、ここには事前条件はありません。彼らは写真を入力しないだけで、必要はありません。」

最近、CVで統計的独立性の意味についてこの答えを見ました。著者に彼の文章をコメントしました

「...イベントが統計的に独立している場合、（定義により）一方を観察することから他方を知ることはできません。」

露骨に間違っていた。コメント交換で、彼は（彼の言葉）の問題に戻り続けました

「「学習」とは、別のものの観察に基づいて物事に関する私たちの信念を変えることを意味するのではないでしょうか？そうだとすれば、独立は（定義的に）これを排除しませんか？

繰り返しになりますが、彼がベイジアンの考え方をしていること、そして私たちがいくつかの信念（つまり、事前）から始めることを自明であると考えたことは明らかでした。しかし、最初の信念はどのように作成されますか？

科学は現実に適合しなければならないので、私は関係する人間に事前がない状況が存在することに注意します（私は、事前に何もせずに状況に入ります-私は事前があると主張しないでくださいが、私は気づかないで、ここで偽の精神分析をspareしましょう）。

たまたま「情報価値のない事前確率」という言葉を聞いたことがあるので、質問を2つの部分に分けます。ここで、ベイジアン理論に精通しているユーザーは、私が尋ねようとしていることを正確に知っています。

Q1：情報に基づいていない事前情報を取得するのと同等の事前の（厳密な理論的意味での）欠如はありますか？

Q1の答えが「はい」（詳細をご記入ください）の場合、ベイズのアプローチは普遍的かつ最初から適用可能であることを意味します。その場所は、当面のケースにとって情報価値のない事前情報です。

しかし、Q1の答えが「いいえ」の場合、Q2は次のようになります。

Q2：Q1の答えが「いいえ」の場合、事前分布がない場合、ベイジアンアプローチは最初から適用できず、非ベイジアン方法で事前に事前分布を作成する必要があります。後でベイジアンアプローチを適用できますか？

Q1：情報に基づいていない事前情報を取得するのと同等の事前の（厳密な理論的意味での）欠如はありますか？

番号。

まず、「情報価値のない事前」の数学的な定義はありません。この単語は、いくつかの事前を説明するために非公式にのみ使用されます。

たとえば、ジェフリーの事前分布は「情報価値のない」と呼ばれることがよくあります。この事前分布は、変換不変問題の一様事前分布を一般化します。ジェフリーの以前は、何らかの形でモデルの（情報理論）リーマン幾何学に適応するため、パラメーター化から独立しており、モデルである（分布空間内の）多様体の幾何学にのみ依存しています。それは標準的なものとして認識されるかもしれませんが、それはただの選択です。リーマン構造によると、これは単なる前の均一なものです。「情報不足=均一」を問題の単純化として定義するのは不合理ではありません。これは多くの場合に当てはまり、明確で簡単な質問をするのに役立ちます。

事前分布なしでベイジアン推論を行うことは、「が値を持っていることを知っているだけで、の分布について仮定せずにをどのように推測できますか？」この質問は明らかに意味をなしません。0.5と答えると、おそらく分布を考慮していることになります。$E(X)$X [ 0 ; 1 $X$$X$$[0;1]$

ベイジアンおよび頻繁なアプローチは、単に異なる質問に答えます。たとえば、おそらく最も簡単な推定器について：

• フリークエンティスト（例）：「最悪の場合（超える）で私の回答が最小の誤差（超える場合のみ）になるようにを推定するにはどうすればよいですか？」これはミニマックス推定量につながります。X $\theta$$x$$\theta$

• ベイジアン：「私の回答の平均誤差が（超える）最小になるようにを推定するにはどうすればよいですか？」これは、ベイズ推定量につながります。しかし、質問は不完全であり、「どのような意味で平均ですか？」を指定する必要があります。したがって、質問には事前が含まれている場合にのみ完全です。$\theta$$\theta$

どういうわけか、フリークエンティストは最悪の場合のコントロールを目指しており、事前の必要はありません。ベイジアンは平均的な制御を目指しており、「どのような意味で平均的か？」と言う前に必要です。

Q2：Q1の答えが「いいえ」の場合、事前分布がない場合、ベイジアンアプローチは最初から適用できず、非ベイジアン方法で事前に事前分布を作成する必要があります。後でベイジアンアプローチを適用できますか？

はい。

しかし、標準的な事前構築には注意してください。数学的には魅力的に聞こえるかもしれませんが、ベイジアンの観点からは自動的に現実的ではありません。数学的に素晴らしい事前確率は、実際には愚かな信念体系に対応する可能性があります。たとえば、を調べた場合、に対するジェフリーの事前は均一であり、人々の平均サイズについては、これはあまり現実的なシステムではない可能性があります。しかし、わずかな観察で、問題は実際に非常に速く消えます。選択はそれほど重要ではありません。$X\sim N(\mu,1)$$\mu$

私の意見では、以前の仕様に関する真の問題は、より複雑な問題で発生します。ここで重要なことは、ある先人が言ったことを理解することです。

まず、モデルに豊富な事前知識を含めたいため、ベイジアン手法がよく使用されます。事前の知識がない場合は、いわゆる「情報価値のない」または毎週の有益な事前知識に固執します。均一性についての仮定があるため、均一の前、定義による「情報価値」ではないことに注意してくださいある仮定。本当に有益な事前のようなものはありません。「それは何でもよい」が合理的な「情報価値のない」事前仮定である場合もありますが、「すべての値が等しく発生する可能性がある」と述べることは非常に強く不合理な仮定である場合もあります。たとえば、私の身長が0センチメートルから3メートルの間であり、すべての値が同様にアプリオリであると仮定した場合、これは合理的な仮定ではなく、極端な値に過度の重みを与えます。後部が歪む可能性があります。

一方、ベイジアンは、あなたが事前の知識や信念をまったく持っていない状況は本当にないと主張するでしょう。あなたはいつでも何かを引き受けることができ、人間として、あなたは常にそれをやっています（心理学者と行動経済学者はこのトピックについて多くの研究を行いました）。ベイジアン推論はあなたの信念を更新することなので、ベイジアンの事前確率との大騒ぎは、それらの先入観を定量化し、モデルで明示的に述べることです。

抽象的な問題については「事前の仮定なし」の議論、または一様な事前を思い付くのは簡単ですが、実際の問題については事前の知識が必要です。封筒の金額について賭けをする必要がある場合、その金額は非負で有限である必要があることがわかります。また、コンテストのルールに関する知識、敵に利用可能な資金、封筒の物理的なサイズ、および物理的に収まる金額に関する知識があれば、可能な金額の上限について知識に基づいた推測を行うこともできます。また、あなたの敵が封筒に入れて喜んで失う可能性のある金額についても推測することができます。事前の基礎として知っておくべきことがたくさんあります。

質問1 答えはおそらくノーだと思います。私の理由は、最終的な答えが何らかのarbitrarily意的な情報モデル/可能性からどれだけ離れているかを何らかの方法で測定することを除いて、「情報価値のない」の定義を実際に持っていないからです。多くの情報価値のない事前確率は、「モデル/可能性」と「答え」を念頭に置いている「直感的な」例に対して検証されます。その後、私たちは私たちが望む答えを与える前に、情報のない人に尋ねます。

これに関する私の問題は、誰かが彼らの母集団に対して本当に良い、十分な情報に基づいたモデルまたはモデル構造を持ち、同時にそのモデルのありそうな、そしてありそうもないパラメーター値に関する「情報なし」を持つことができると信じて苦労していることです。ロジスティック回帰を使用した例については、「ロジスティックおよびその他の回帰モデルのわずかに有益なデフォルトの事前分布。」を参照してください。

離散均一事前分布は、「ファーストファースト」事前分布であると合理的に言うことができる唯一のものです。しかし、「情報がない」と思って使用すると問題が発生しますが、突然「直感的でない」回答に反応します（ヒント：ベイジアン回答が気に入らない場合-以前の情報や可能性！）。あなたが遭遇する別の問題は、あなたの問題に適切な離散化を得ることです。そして、これを考えても、離散値の数を知ってから離散均一事前分布を適用する必要があります。

事前に考慮すべきもう1つの特性は、使用している可能性に対する「テールの動作」です。

質問2へ

概念的には、事前分布や尤度を使用せずに分布を指定しても、問題は見当たりません。「私のpdfは...で、このpdfについて...計算したい」と言って問題を開始できます。次に、事前、事前予測、および尤度の制約を作成しています。ベイジアン法は、事前確率と尤度があり、それらを組み合わせて事後分布にしたい場合に使用します。

おそらくあなたの確率が何であるかを明確にすることの問題でしょう。次に、引数は「このpdf / pmfは、私が言っていることを表していますか？」にシフトします。-これはあなたが居たいスペースだと思います。あなたの例から、あなたは単一のディストリビューションがすべての利用可能な情報を反映していると言っています-あなたが使用しているディストリビューションにすでに（暗黙的に）含まれているので「優先」はありません。

また、ベイを逆に適用することもできます-私が検討している実際の事前分布を与える「事前」、「可能性」、および「データ」は何ですか？これは、尤度の事前分布が観測値を持つ「prior」の「事後」に対応するように見えることを確認できる1つの方法です。- 各カテゴリからつ。B I N （N 、P ）BのE T （0 、0 ）2 $U (0,1)$$Bin(n,p)$$Beta (0,0)$$2$$1$

いわゆる露骨に間違ったコメントについて

正直に言うと、「統計的に独立した」観測を予測するために、どのような観測の数え方がどのように使用できるかを見ることに非常に興味があります。例として、100個の標準正規変数を生成することを伝えた場合。私はあなたに99を与え、100番目のあなたの最高の予測を私に与えてください。0よりも100番目の方がより良い予測はできないと言います。しかし、これは、データを提供しなかった場合に100番目の予測をするのと同じです。したがって、99個のデータポイントからは何も学習しません。

ただし、「何らかの正規分布」であると言った場合、99個のデータポイントを使用してパラメーターを推定できます。その後、データは「統計的に独立」ではなくなりました。これは、より多くのデータを観察するにつれて、共通の構造についてより多くを学ぶからです。最高の予測では、99個のデータポイントすべてを使用するようになりました

これは、他の優れた答えに追加する短いコメントです。しばしば、または少なくとも時には、統計分析に入力する情報のどの部分がデータと呼ばれ、どの部分が事前と呼ばれるかは、いくぶんarbitrary意的（または従来的）です。または、より一般的には、統計分析の情報は、モデル、データ、および事前の 3つのソースから得られると言えます。線形モデルやglmなどの場合、少なくとも従来どおり、分離は非常に明確です。

私のポイントを説明するために、素人用語で最尤推定（MLE）の例を再利用します。患者が医師の診察室に入り、診断が困難であることが判明したいくつかの医学的問題があるとします。この医師は、これまでまったく似たようなものを見たことがない。それから、患者と話をすると、新しい情報が浮かび上がります。この患者はごく最近熱帯アフリカを訪れました。医師にとっては、これはマラリアや他の熱帯病である可能性があります。ただし、この情報は明らかにデータであることに注意してくださいしかし、少なくとも使用可能な多くの統計モデルでは、事前分布の形で分析に入ります。事前分布は、いくつかの熱帯病に高い確率を与えます。しかし、おそらく、この情報がデータとして入力される、いくつかの（より大きな）より完全なモデルを作成できます。したがって、少なくとも部分的には、区別データ / 事前は従来のものです。

従来のモデルのいくつかのクラスに重点を置いているため、この慣習に慣れています。しかし、様式化された統計モデルの世界の外にあるより大きなものでは、状況はそれほど明確ではありません。