ジェフリーズの事前の有用性はなぜですか？

61

ジェフリーズの事前分布は、再パラメーター化の下で不変であることを理解しています。ただし、このプロパティが必要な理由はわかりません。

なぜ変数の変更の下で事前を変更したくないのですか？

bayesian prior

— ツッキー
ソース

3

関心の対象となる可能性のあるもの：なぜジェフリーズの事前情報は情報価値がないと見なされるのですか。

30

禅の答えを完成させてください。「無知を表す」という概念があまり好きではありません。重要なことは、ジェフリーズ以前ではなく、ジェフリーズ後部です。この事後の目的は、データによってもたらされるパラメーターに関する情報を可能な限り最良に反映することです。不変プロパティは、当然、次の2つのポイントに必要です。たとえば、未知の比率パラメーターおよびオッズパラメーター含む二項モデルを考えます。 $\theta$ $\psi=\frac{\theta}{1-\theta}$

のJeffreys事後は、データによってもたらされるに関する情報を可能な限り最良に反映します。と間には1対1の対応があります。次に、 Jeffreys事後を事後に変換すると（通常の変数の変更式を使用して）、に関する情報を可能な限り反映した分布が得られます。したがって、この分布はについてジェフリーズ後部になります。これは不変性プロパティです。 $\theta$ $\theta$ $\theta$ $\psi$ $\theta$ $\psi$ $\psi$ $\psi$
統計分析の結論を引き出す際の重要なポイントは、科学的コミュニケーションです。ジェフリーズ後部をで科学者の同僚に渡すと想像してください。しかし、彼/彼女はではなく興味があります。その場合、これは不変性プロパティの問題ではありません。変数の変更式を適用するだけです。 $\theta$ $\psi$ $\theta$

— ステファン・ローラン
ソース

ああ、これで事態は少し解消されます。しかし、オッズパラメーターの事後値がプロポーションパラメーターの事後値と同じになる直観的な正当な理由はありますか？それはかなり不自然に思えます。

— -tskuzzy

同じではありません！1つは、変数の変化の式によってもう1つによって引き起こされます。2つのパラメーターの間には1対1の対応があります。次に、これらのパラメーターの1つの事後分布は、他の事後分布を誘発するはずです。

— ステファンローラン

2

（+1）ステファン。「...は同じでなければなりません...」と言うと、OPはまだ混乱しているようです。2つの事後要素は「同じ」ではありません。たとえば、ステファンの例では、 ; デフォルト（計算済み）事前分布を使用してこの種の一貫性を持たない場合、事前分布は少しナッツです。

P {1 / 3 \leq θ \leq 2 / 3 ∣ X = x} = P {1 / 2 \leq ψ \leq 2 ∣ X = x}

$P\{1/3\leq\theta\leq 2/3\mid X=x\}=P\{1/2\leq\psi\leq 2\mid X=x\}$

— 禅

1

この投稿に欠けているのは、パラメーターに関するデータに多くの情報がある場合、特定の事前使用は重要ではないということです。たとえば、二項比率は、ユニフォーム、ジェフリー、またはハルダンを使用するかどうかに関係なく、事後が非常に広くない限り、ほとんど差がありません。この場合、意味のある結論を引き出すことができないため、どちらの優先順位が「正しい」かについての学術的な議論が少しあります。情報価値のない事前分布の真の価値は複数の次元にありますが、この問題は解決されていません-ジェフリーズの事前分布はここでは悪いです。

— 確率論的

3

この理論は不完全であり、パラメーターの順序、コンパクト領域の選択、および尤度関数に依存します。そのため、たとえば尤度の原則に従っていません。また、独立していないデータに適用することは困難です。さらに、ベルナルドの理論は1-dパラメーターの問題についてのみ完全です。おそらく現在利用可能な最良の方法です。優れた競争相手は、Jaynesのトランスフォーメーショングループアプローチです。

— 確率論的

41

あなたと友人が通常のモデルを使用して同じデータセットを分析しているとします。平均と分散をパラメーターとして使用して通常モデルの通常のパラメーター化を採用しますが、友人はパラメーターとして変動係数と精度を使用して通常モデルをパラメーター化することを好みます（これは完全に「合法」です）。両方がジェフリーズの事前分布を使用している場合、事後分布は、友人の事後分布がパラメータ化からあなたのものに適切に変換されたものになります。この意味で、ジェフリーズの事前分布は「不変」です

（ところで、「不変」は恐ろしい言葉です。私たちが本当に意味するのは、同じ意味のテンソル計算/微分幾何学の「共変」ですが、もちろん、この用語はすでに確立された確率的意味を持っています。使用できません。）

なぜこの一貫性の特性が望ましいのですか？なぜなら、ジェフリーズの事前確率に、絶対的な意味でパラメーターの値に関する無知を表現する可能性がある場合（実際にはそうではありませんが、「不変性」に関連しない他の理由で）、特定のパラメーター化に関連する無知ではないからですモデルの場合、どのパラメータ化を任意に選択して開始しても、後継者は変換後に「一致」する必要があります。

ジェフリーズ自身は、事前の構築時にこの「不変性」特性に定期的に違反していました。

このホワイトペーパーでは、この件と関連する件について興味深い議論をしています。

— 禅
ソース

1

+1：良い答え。しかし、なぜジェフリーズの過去はパラメーターの値について無知を表さないのでしょうか？

— ニールG

4

それはディストリビューションでもないからです。分布が無知を反映していると主張するのは逆説的です。分布は常に情報を反映します。

— ステファンローラン

2

別の参照：projecteuclid.org/...

— ステファン・ローラン

@StéphaneLaurent：完全に無知な状態でさえ、何らかの信念を持たなければなりません。後部がマイナスであっても、データによって誘発される可能性がマイナスであることは、その無知の状態で想定している信念です。その信念を決定する際に尊重しなければならない直感的な原則は、ラベルの変更（再パラメーター化を含む）の下で不変であるべきだということです。確信はありませんが、その原則だけが（考えられるすべての解釈-最大エントロピー、不変の再パラメーター化など）常に信念を決定すると思います。

— ニールG

したがって、「分布は無知を反映している」と言うとき、その分布がこの原則と一致することを意味します。

— ニールG

12

Zenの素晴らしい答えにいくつかの引用を追加するために：Jaynesによると、Jeffreysの前例は、無関心の原則から生じる変換グループの原則の例です。

原則の本質は次のとおりです。（1）確率割り当ては、特定の状態iの知識を記述する手段であることを認識しています。（2）利用可能な証拠が命題よりも多かれ少なかれ考慮する理由を与えない場合、知識の状態を説明できる唯一の正直な方法は、それらに等しい確率を割り当てることです：。他の手順は、ラベルを単に交換するだけで、知識の状態は同じであるが異なる確率を割り当てる新しい問題を生成できるという意味で矛盾しています。 $A_1$ $A_2$ $p_1=p_2$ $(1, 2)$

さて、あなたの質問に答えるために：「なぜ変数の変化の下で前のものを変えたくないのですか？」

Jaynesによると、パラメーター化は別の種類の任意のラベルであり、「ラベルを単に交換するだけで、知識の状態は同じであるが、異なる確率を割り当てる新しい問題を生成することはできません」とのことです。」

— ニール・G
ソース

2

ジェインズは私にはやや神秘的なようです。

— ステファンローラン

@StéphaneLaurent：たぶん私はあまりにも簡単に変換されました！しかし、これは非常に説得力がありました。ETジェインズ、「最大エントロピーの位置はどこですか？」、The Maximum Entropy Formalism、R。Levine and M. Tribus、Eds。米国マサチューセッツ州ケンブリッジ：MIT Press、1979、pp。15–118。

— ニールG

2

西安はジェインを称賛するメールを受け取りました：ceremade.dauphine.fr/~xian/critic.htmlフランス語を読まなければ残念です、このメールは恐ろしくて面白いです。作家はベイジアン統計について考えすぎて夢中になったようです;）

— ステファンローラン

1

@StéphaneLaurent：今読んで。これは絶対に正しいです。「508ページの「ほとんどの実験の再現性がない」「Quoi Bon Ensuite」「512ページの「最適なフクエンティストの手順を探す」？新たな問題を解決する方法はありません。コメント "choixBayésien"、qui se veutêtrele paradigme pour toutproblèmeinférentiel、n'est-ce pas、peut-il se baser sur une reconciliation avec lefréquentisme（p。517-518）？Pourquoi ne pas dire une foisいつものようにキュートな確率でジャマイスを流してください！」

— ニールG

1

また： qu'il permet ensuite d'unifierThéoriede l'Information、MécaniqueStatistique、Thermodynamique…」も私の立場を説明しています。しかし、筆者とは異なり、私が他の人に私がとても自然だと思うことを受け入れるよう説得する時間を費やすことに興味はありません。

— ニールG

4

他の事前分布を測定するための事前参照を設定するためだけの場合、ジェフリーズ事前分布は、不適切な後天性につながる場合など、まったく役に立たないことがあります：これは、たとえば、単純な2成分ガウス混合すべてのパラメーターが不明なこの場合、利用可能な観測がいくつあっても、ジェフリーズ事前分布の事後は存在しません。（この証拠は、Clara Grazianとともに書いた最近の論文で入手できます。）

p N (μ_{0}, σ_{0}^{2}) + (1 - p) N (μ_{1}, σ_{1}^{2})

$p\mathcal{N}(\mu_0,\sigma_0^2)+(1-p)\mathcal{N}(\mu_1,\sigma_1^2)$

— 西安
ソース

-2

ジェフリーズ事前は役に立たない。それの訳は：

単に分布の形式を指定するだけです。パラメータがどうあるべきかを教えてくれません。
あなたは決して完全に無知ではありません-あなたが知っているパラメータについては常に何かがあります（例えば、しばしば無限ではありえません）。事前分布を定義することにより、推論に使用します。何も知らないと言って自分に嘘をつかないでください。
「変換の下での不変性」は望ましい特性ではありません。あなたの可能性は、変換の下で変化します（例えば、ヤコビアンによる）。これは、「新しい問題、」作成しないペースジェインズを。なぜ前のものは同じように扱われるべきではないのですか？

使用しないでください。

— nec
ソース

1

え？尤度は密度ではなく、再パラメータ化では変化しません

— innisfree