情報価値のない先行理論の歴史

私はベイズ統計学コース（経済学修士課程）で情報価値のない事前の短い理論エッセイを書いており、この理論の発展におけるステップを理解しようとしています。

これまでに、私のタイムラインは、ラプラスの無関心の原則（1812）、非不変の事前分布（ジェフリーズ（1946））、ベルナルドの参照事前（1979）の3つの主要なステップで構成されています。

私の文献レビューから、無関心の原理（ラプラス）は以前の情報の欠如を表すために使用される最初のツールであったが、ジェフリーズが彼の方法を導入した40代まで不変性の欠落した要件がその放棄につながったことを理解しました不変性の望ましい特性。70年代の不適切な事前の不注意な使用に起因する周辺化のパラドックスの発生により、ベルナルドはこの問題に対処するために彼の参照事前理論を練り上げました。

文献を読んで、すべての著者は異なる貢献を引用します：Jaynesの最大エントロピー、BoxおよびTiaoのデータ変換された尤度、Zellner、...

あなたの意見では、私が欠けている重要なステップは何ですか？

編集：誰かが必要な場合は、（メイン）参照を追加します：

1）フォーマルルールによる事前選択、Kass、Wasserman

2）非情報的事前分布のカタログ、Yang、Berger

3）情報量の少ないベイジアンの事前解釈と構造とアプリケーションの問題

不足していると思われるのは、初期の歴史です。Fienberg（2006）の論文は、ベイジアン推論が「ベイジアン」になったときに確認できますか？。最初に、彼はトーマス・ベイズがユニフォーム・プリオールの使用を提案した最初の人物であることに気付きました。

現在の統計言語では、ベイズの論文は二項パラメータ一様な事前分布を導入し、「ビリヤードテーブル」との類推による推論と、二項ランダム変数の周辺分布の形での描画を行います。他の多くの人が主張しているように、「不十分な理由」。$\theta$

Pierre Simon Laplaceが次に議論した人物です。

$\theta$

$$f(\theta\mid x_1,x_2,\dots,x_n) \propto f(x_1,x_2,\dots,x_n\mid\theta)$$

$\theta$

さらに、カール・フリードリッヒ・ガウスは、統計の歴史の中で注釈付きの読書を書いたDavid and Edwards（2001）に記されているように、情報のない事前分布を使用することにも言及しました。

$h$

$$f(h|x) \propto f(x|h)$$

$h$$[0, \infty)$

そして、Fienberg（2006）が気づくように、19世紀の変わり目に「逆確率」（およびそれに続く、均一な事前分布を使用）が流行しました

$t$$\mu$$\mu$$h =\sigma^{-1}$

ベイジアンアプローチの初期の歴史は、彼の著書「統計の歴史：1900年以前の不確実性の測定」で、スティグラー（1986）によってもレビューされています。

あなたの短いレビューでは、ロナルド・アイルマー・フィッシャーについても言及していないようです（2006年、Fienbergの後に引用）：

フィッシャーは逆の方法から遠ざかり、「尤度」と呼ばれる推論への彼自身のアプローチに向かって動きました。しかし、この点でのフィッシャーの進行は遅かった。スティグラー（164）は、1916年以降の未発表の原稿で、フィッシャーは後で彼がこの時点でそれを理解したと主張した区別を行ったとしても、尤度と逆確率をフラットな事前確率で区別しなかったと指摘しました。

Jaynes（1986）は、彼自身の短いレビュー論文Bayesian Methods：General Backgroundを提供しました。確認できる入門チュートリアルですが、情報価値のない事前知識に焦点を合わせていません。さらに、AdamOが指摘したように、間違いなくStigler（2007）によるThe Maximum Story of Maximum Likelihoodの叙事詩を読んでください。

また、「情報のない事前」などは存在しないため、多くの著者が「あいまいな事前」または「毎週の情報事前」について話すことを好むことにも言及する価値があります。

理論的レビューは、Kass and Wasserman（1996）の「公式ルールによる事前分布の選択」で提供されています。

このような欠陥の調査が歴史の中で非情報的事前の概念の開発を助けたので、非情報的事前の欠陥（非情報的事前）に関するいくつかのコメントはおそらく良い考えです。

情報価値のない優先順位を採用することの欠点/欠陥についてコメントを追加することもできます。多くの批判の中で、私は2つ指摘します。

（1）一般に、特にモデル分布にマルチモーダルな振る舞いがある場合、情報のない事前分布の採用には一貫性の問題があります。

この問題は、情報価値のない事前分布に固有のものではありませんが、以下の論文でその議論とともに指摘されているように、他の多くのベイジアン手順で共有されています。

Diaconis、Persi、David Freedman。「ベイズ推定の一貫性について。」統計学年報（1986）：1-26。

今日では、情報価値のない事前調査はもはや研究の焦点では​​ありません。ノンパラメトリック設定の事前のより柔軟な選択により関心があるようです。例は、ノンパラメトリックベイズ手順でのガウス過程事前分布、またはディリクレ事前分布の混合のような柔軟なモデルです。

アントニアック、チャールズE. 「ディリクレプロセスの混合物とベイジアンノンパラメトリック問題への応用」統計年報（1974）：1152-1174。

ただし、このような事前分布には一貫性の問題があります。

（2）ほとんどのいわゆる「非情報的事前分布」は明確に定義されていません。

これはおそらく、開発中の情報価値のない事前事態に関連する最も明白な問題です。

一例は、適切な事前分布のシーケンスの制限としての情報価値のない事前定義の制限定義は、周辺化パラドックスにつながることです。あなたが述べたように、ベルナルドの以前の参考文献には、その正式な定義がその構築/パーティションから独立していることをバーガーが決して証明しなかったという問題もあります。の議論を参照してください

バーガー、ジェームズ・O、ホセ・M・ベルナルド、ドンチュ・サン 「参照事前の正式な定義。」統計学年報（2009）：905-938。

明確に定義されたジェフリーズの事前分布に関する1つの最良の定義は、フィッシャー情報メトリックを備えたリーマン多様体上の特定の平行移動の下で不変であるような事前分布であるように選択されることですが、それでも最初の問題は解決しません。

また、あなたは読みたいかもしれません 、周辺化のパラドックスについての私の説明。

私はコメントに投稿したでしょうが、私はまだ評判を持っていないと思います。すでにマークされているコメントではなく、唯一欠けているのは、情報源ではない事前事態の特殊なケースです。それはジェフリーズの論文に先行するかもしれません。

正規分布では、コーシー分布が正規尤度を持つデータの非有益な事前分布として使用されるのを見てきました。その理由は、Cauchy分布の精度がゼロであるためです。精度は1を分散で割ったものです。それは矛盾した概念のかなり独特なセットを作成します。

積分の定義方法に応じて、定義された分散がないか、中央値について無限になります。これは、精度がゼロになることを意味します。ここでは適用されない共役更新では、重み付き精度を追加します。これが、完全に不正確な密度を持つ適切な事前分布のこのアイデアが形成された理由だと思います。また、1自由度のスチューデントのtに相当し、これもソースになる可能性があります。

$2\Gamma$。

コーシー分布への最初の2つの参照は、尤度関数です。中央極限定理の例外としてのポワソンからラプラスへの手紙の最初。2つ目は、1851年の通常の最小二乗法の有効性をめぐるBienayme 'とCauchyの戦いのジャーナル記事です。

1980年代にさかのぼる前に、情報提供としての使用への言及を見つけましたが、最初の記事や本を見つけることができません。私はまた、それが情報価値がないという証拠も見つけていません。Jeffreysの1961年の確率論に関する本への引用を見つけましたが、図書館間貸し出しで本を要求したことはありません。

それは単に情報が少ないかもしれません。99.99％の最高密度領域は、1272半四分位範囲です。

役に立てば幸いです。これは奇妙な特殊なケースですが、多くの回帰論文で取り上げられています。場所と規模への影響を最小限に抑えながら、適切な事前であることにより、ベイズアクションの要件を満たします。