ベイズ統計におけるパラメーターを確率変数として理解する

私が正しく理解していれば、ベイズ統計では、パラメーターは確率変数です。パラメータを推定するとき、事前分布とデータを組み合わせて事後分布を作成します。

質問：

1. （サンプルおよび母集団内の）すべてのデータポイントは、パラメーターの同じ実現によって生成されますか？
2. はいの場合、なぜパラメーターの分布（つまり、他の可能な実現とそれらのそれぞれの確率質量または確率密度値）を気にするのですか？結局のところ、私はサンプルと以前のサンプルからこの特定の母集団について何かを見つけようとしています。
3. そうでない場合、ベイジアンパラメーター推定の式に、どのように反映されますか？

同時に、当初の信念（以前に反映されたもの）でも更新されたもの（事後に反映されたもの）も私の分布には分布が含まれていることを理解しています。問題はありません。しかし、パラメーター自体が確率変数であると仮定する必要があるのか​​どうか、なぜでしょうか。

編集：役立ついくつかの回答を受け取りましたが、もっと重要な別の回答をいくつか感謝します。

頻出統計では、データを見る前に、関心のあるパラメーターについて何も知らないと想定しています。

ベイジアン統計では、データを表示する前に、関心のあるパラメーターの考えられる値について何かを知っている可能性があることを確認することで、この仮定を緩和します-たとえば、パラメーターが特定の範囲の値をとる可能性の程度。データを確認した後、この事前知識を改良/更新できます。したがって、関心のあるパラメータの事前分布は、データを表示する前に、これのこれらのパラメータの可能な値についての知識/信念をカプセル化し、対応する事後分布は、この知識/信念をデータからの入力。

頻出統計とベイジアン統計はどちらも、パラメーターは推定する必要のある未知の量であると想定しています。しかし、それらは、その量を推定するために必要な入力の点で分岐します：頻度主義統計のみのデータ対事前知識/信念プラスベイジアン統計のデータ。

ベイジアンが特定のパラメーターの事後分布の平均/中央値/モードを報告するとき、それはパラメーターの最も可能性の高い値（つまり、推定される未知の量）であると考えているため、報告します。しかし、パラメーターは不明であるため、この最も可能性の高い値（たとえば、95％の信頼できる間隔）の不確実性の測定により、パラメーターの真の値がどこにあるかがわかります。

ベイジアンフィールドに近づく常習者として、パラメーターを推定しようとしている未知の何かとして、事前分布と事後分布を、この未知のエンティティーについての知識/信念の状態を見る前と後でカプセル化するためのツールとして考えると役立つことがわかりましたそれぞれデータ。

私たちが追跡している未知の実体について何も知らないという強硬なアプローチを採用している頻度は高いですが、ベイジアンは実際に何かを知っているかもしれない、より現実的で微妙なアプローチを採用しています。その知識に基づいて。

したがって、ベイジアンコンテキストでの分布は気になります。なぜなら、それらは現在の知識/信念の状態（以前の分布の場合）を表現するのに便利な手段であり、データを見た後に達成された知識/信念の改善された状態（事後分布の場合）です。

補遺：

個人的には、疫学研究のためのベイズの視点：I. Foundations and basic methods、International Journal of Epidemiology、Volume 35、Issue 3、1 June 2006、Pages 765–775（https://academic.oup.com/ije/article/35/3/765/735529で入手できます）：

" 「パラメータは頻繁に固定されているとベイジアンによってランダムに扱われる」と（誤って）言われることが多い。頻繁に使用する人とベイジアンにとって、パラメータの値は最初から固定されているか、または物理的にランダムなメカニズム。どちらの場合も、知りたい固定値を採用していると仮定します。ベイジアンは形式的確率モデルを使用して、その値に関する個人の不確実性を表現します。これらのモデルの「ランダム性」は、パラメータの値。これはパラメータのプロパティではありません（ただし、パラメータを生成したメカニズムのプロパティを正確に反映していると期待できます）。

このトピックの詳細については、http：//thestatsgeek.com/2015/04/22/bayesian-inference-are-parameters-fixed-or-random/を参照してください。

（サンプルおよび母集団内の）すべてのデータポイントは、パラメーターの同じ実現によって生成されますか？

• サンプルでは、​​不均一分散などをような形式であると考えている場合、答えは「はい」です。$\sigma^2_{\Delta{t}}=\Delta{t}\sigma_0^2$
• 母集団では、分布をディラック汎関数であると考えれば答えは「はい」になる可能性がありますが、母集団では自動的ではありません。カジノが勝つ確率を時々変える場合を考えてください。カジノで固定された100回の実験的な抽選の場合、カジノで勝つ確率は、変化する値の加重平均になります。構造破壊のタイミングは不明です。カジノが勝つ確率が0.5に十分近い場合、50％の勝率の確率から99％の勝率の確率に変化するなどの変化がない限り、自然のノイズが現実を圧倒するため、構造的破壊のモデリングは意味がありません。 50ドローでブレイク。事実の後、勝利の同時確率は、固定された抽選セットに対する固定値であり、母集団が固定されている場合は固定されます。

もしそうなら、なぜ私はパラメータの分布（すなわち、他の可能な実現とそれらのそれぞれの密度）を気にするのでしょうか？結局のところ、私はサンプルと以前のサンプルからこの特定の母集団について何かを見つけようとしています。

あなたの質問は、頻度主義の方法が尤度の原則に違反しているというベイズの不満を反映しています。なぜt検定の実行で目に見えないサンプルを検討するのですか？頻繁な方法はサンプル空間全体で平均化するためです。サンプルに関係のないパラメータの実現を検討する理由は何ですか？弱い応答は、ベイズ法がパラメーター空間全体で平均化されるためです。

この質問は、もし論争的なものになりたいのであれば、特に主観的なベイズ法に対する非常に正当な攻撃となるでしょう。尤度原理はそれについていくつかの考え方の下で間違っていることが示されていますが、頻度論的方法の哲学的構築はベイズの研究を反映していないようです。それはおそらくベイズ統計学における尤度原理の欠点を共有するであろうけれども、それは論文であるべきです。

より強力な答えは、ように、無限のサンプルサイズがないということです。このように、ベイズ法は、頻度を頻度法のように偶然ではなく不確実性として扱うため、これは自然の理解に残る不確実性の定量化です。パラメータを操作する必要があり、2つの可能な値と場合は、と言います危険である可能性があり、1つの真の可能な値としてを無視することは確かに（de Finettiの意味で）しています。$lim_{n\to\infty}\hat{\theta}\to\theta$$\hat{\theta}_A$$\hat{\theta}_B$$\Pr(\theta=\hat{\theta}_A)=.75$$\hat{\theta}_B$

具体例を示すために、78の破産モデルをテストし、そのうち76の累積事後確率は1％ので、他の2つは約54％と46％でした。幸い、どちらのモデルも変数を共有していません。気にする理由の1つは、ほぼ間違いなく、真のモデルが間違っていることです。予測密度のモデル平均化により、非常に小さなサンプル外エラーを作成できました。私は高確率モデルに関心があり、76個の低確率モデルを含む完全なモデル平均化の下で結果を計算するリソースがあれば、結果は有意であると考える桁数内で変化しなかったでしょう。$1/10,000^{th}$

そうでない場合、ベイジアンパラメーター推定の式に、どのように反映されますか？

これはベイズの定理です。非常に知的に正直である場合、真の極端な主観主義的見解であるラサベージは、適切な事後密度以上のものを必要としません。私があなたとギャンブルをするつもりなら、de Finettiのように、10階建ての建物から降りることによって重力が有効であるかどうかについては、ギャンブルをする前に現実の別の見方を検討する必要があります。ここで決定理論を含めると、10階建ての建物を降りることはオールオアナッシングコスト関数の自然なバージョンであるため、重力に対する私の信念が十分に強い場合、建物を降りる必要があります。そうすることで、私が間違っていると再現性が問題になるので、私はこの1つの実験についてのみ心配します。この場合、私が正しくない限り、あなたの質問は意味がありません。一方、お金を賭けている場合、ギャンブルの需要曲線の性質とギャンブルからの収益との関係を考えると、ほとんどの場合、二次損失は適切な損失関数になります。

パラメータの変更の可能性は、ベイジアン更新に反映されます。あなたの質問は繰り返しでのみ意味があります。それは、純粋に主観主義的なフレームワークにおけるベイジアン更新の縮図です。多くの実験を実行し、それらを結合して、事後を自然の解に絞り込むことによって、パラメーターの主観的な描画をどのようにモデル化しますか？これは、生成モデルを中心に構築された思考システムです。

編集 私は少しバックアップする必要があると思います。ベイジアン法には、複数の解釈と複数の公理があります。彼らはあなたの質問を少し根底にしています。

主観的解釈では、パラメーターは分布からランダムに抽出されます。その分布が事前密度です。ベイズの定理の分子について考えると、分子は事前分布に強く依存していることになります。以来ランダムで、実験をのインスタンス化と考えることができるということになる。別の実験を行う場合、それは別のインスタンス化です。目標は、パラメーターの真の分布を見つけることです。その分布は、単一の点で無限の質量を持ち、他の場所ではゼロの質量を持つことができます。$f(x|\theta)\pi(\theta)$$\theta$$\theta$$\theta$

客観的解釈では、パラメーターはフリークエンティスト方法論と同様に固定されていますが、それらは不明です。事前分布は、である未知の確率の定量化を表します。尤度はサンプルの分布です。性質がサンプルを作成するために使用する性質として知られているいくつかのパラメーターあります。自然の事前分布は、単一の点で無限の質量を持ち、他の場所ではゼロです。あなたの事前情報には、この時点までに発見したものに関する情報が含まれています。尤度は、見られたサンプルのみを考慮し、残りのサンプル空間は無視します。$\theta=k$$\theta$$X$

2つの解釈には形式の数学的な違いはありません。「便利な解釈」もあります。それはこのようなものになります。ベイジアン法は本当に便利ですが、事前分布を理解することは役に立ちません。パラメータの発見に影響を与えない事前分布を作成できる場合は、サンプルの正則化に非常に役立つ事前分布を使用できるため、最も便利で単純な事前分布を使用する必要があります。このビューでは、パラメーターはランダム変数ですが、それが何を意味するかについては誰も考えていません。とっても便利です。

ベイジアン思考の背後にある公理の3つの主要なセットがあります。場合によっては、選択が実際に重要になります。これは計算の違いによるものではなく、理論的な違いによるものです。たとえば、サベージの公理は、研究者が効用と確率を分離することを可能にします。de Finettiの公理は、研究者が効用を確率から分離することを許可していません。これは、de Finettiの構造には確率が存在しないためです。

de Finettiには2つの公理があります。1つ目は、ブッキーは自然のすべての状態で確実な損失をもたらす賭けを受け入れないということです。2つ目は、Bookieが提示した価格ですべての有限の賭けを受け入れることです。これは、標準の温度と圧力でのオブジェクトの速度の確率テストを動機付ける珍しい方法ですが、機能します。ギャンブルに関して確率を言い換えます。どちらの公理でも確率も実用性も言及されていないことに注意してください。ドフィネッティの世界における確率は、私たちが世界について考えるために使用する計算にすぎず、実際には存在しません。実用性もありません。したがって、効用と確率を一緒に使用している場合、これらはどちらも世界を理解するのに役立つ抽象的な計算であるため、区別できません。それらは単に心の構成要素です。

例として、フリークエンティストとベイジアンがチョ・ハンのゲームをどのように理解するかを考えてみましょう。ベイジアンの視点を理解するには、1962年の日本の映画「座頭市」をご覧ください。チョハンは、サイコロが偶数か奇数かによって決まるゲームです。ヤクザ映画のデバイスとして一般的に使用されています。これは、物理学者、魔術師、詐欺師が言うように、ランダムなサイコロの振りやコインの投げなどはないからです。結果は聴衆には不確かですが、知っている人には完全に確実です。一度完了すると固定されるため、サンプルをランダムにすることはできません。知ってるでしょ。問題は、パラメーターをランダム変数にする方法です。

欠けているのは、パラメーターを作成するポリシーです。完全に指定されたモデルに用いた実験のセットを区別する方法がないから引き出さと場所に関する不確実性を持つ配置されています。$\theta$$\pi(\theta)$$\theta=\theta_{true}$$\theta_{true}$

質問2については、可能性の論争について読む必要があります。尤度の原理はおそらく有効ではありませんが、質問2のベイジアンバージョンです。それは非常に深い質問であり、浅い答えをすることはできません。あなたは本と確かにそれに関する記事を書くことができます。

尤度の原則は2つの原則に基づいて構築されており、頻繁な推論はこれに違反しています。これは、条件付き原則と充足性原則の2つの原則に基づいて構築されています。条件性の原則と十分性の原則が成り立つ場合、p値は常に推論を決定するための誤った方法です。コンディショナリティの原則と尤度の原則の両方は、ほとんどの統計学者にとって個々に魅力的ですが、共同で、頻度論を分解するように主張することができます。あなたの質問は、フリークエントパラレルと見なすことができます。

そのため、意図したよりも深い答えを得ました。実際、私が博士課程の学生だったとしたら、私は座って、質問2をじっくり考えることに時間を費やすかもしれません。そこには深い根本的な原則があるかもしれません。

たとえば、スタック交換の可能性の質問を参照してください

または

可能性講義