フラット、共役、ハイパープライア。彼らは何ですか？

私は現在、ヤンによる計算分子進化のベイズ法について読んでいます。セクション5.2では、事前情報、具体的には非情報的/平坦/曖昧/拡散、共役、超事前情報について説明しています。

これは単純化を求めているかもしれませんが、誰かがこれらの種類の事前分布の違いを簡単に説明できますか？

（私は統計学者ではなく、ベイジアン分析の学習への道を歩み始めたばかりなので、素人の用語であるほど良いです）

簡単に言えば、データに関する知識がほとんどない/まったくないため、分析の結果（事後推論）に与える影響が最も少ない場合は、フラット/非情報事前確率が使用されます。

共役分布は、事前分布と事後分布が同じ分布であり、事前分布は共役事前分布と呼ばれます。特に、尤度に指数族（ガウス、ベータなど）の形の分布がある場合、代数的利便性のために好まれます。これは、ギブスサンプリングを使用して事後シミュレーションを行う場合に非常に有益です。

最後に、モデルのパラメーターに事前分布が設定されていることを想像してください。ただし、別のレベルの複雑さ/不確実性を追加する必要があります。次に、前述の事前分布のパラメーターに事前分布を課します。したがって、名前はhyper -priorです。

ゲルマンのベイジアンデータ分析は、ベイジアン統計の学習に興味がある人にとっては素晴らしいスタートだと思います:)

最高レベルでは、あらゆる種類の事前分布を、研究者がデータ自体以外の分析に携わらせるためにもたらす情報の量を指定することと考えることができます。データを見る前に、どのパラメーターの値がより可能性が高いでしょうか？

ベイジアン分析の暗い時代に、ベイジアンが頻繁にそれと戦っていたとき、研究者は事前にできる限り少ない情報を分析に導入したいという信念がありました。そのため、このようにして、正確には事前情報が「情報価値のない」ものになりうることを理解するための多くの研究と議論がありました。今日、ゲルマンは非有益な事前確率の自動選択に反対し、ベイジアンデータ分析で次のように述べています。「非情報的」という記述は、事前の「特別な」数学的特徴ではなく、事前に対する彼の態度を反映している。（さらに、初期の文献には、事前尺度がどの程度の情報を持たないかについての質問がありました。これはあなたの質問にとって特に重要だとは思いませんが、頻繁な観点からのこの議論の良い例については、冒頭を参照してくださいゲーリー・キング、統一政治方法論。）

「フラット」事前分布は、範囲内のすべての値が等しくなる可能性がある均一な事前分布を示します。繰り返しますが、すべての値が等しくある可能性があることを指定することは何らかの方法で情報であり、モデルのパラメーター化方法に敏感である可能性があるため、これらが本当に有益ではないかどうかについて議論する必要があります。フラット事前分布は、ベイズ分析で長い歴史があり、ベイズとラプラスにまで遡ります。

「曖昧な」事前分布は高度に拡散していますが、必ずしもフラットではなく、特定の範囲に確率質量を集中させるのではなく、広範囲の値がもっともらしいことを表しています。本質的に、それは変動の大きい事前分布です（「高い」変動はあなたの文脈で意味するものは何でも）。

共役事前分布には、適切な尤度を掛けると、閉形式の式を生成する便利な機能があります。この一例は、二項尤度を使用したベータ事前分布、またはポアソン尤度を使用したガンマ事前分布です。これらの有用な表は、インターネットおよびウィキペディア全体にあります。この点で、指数関数族は非常に便利です。

共役事前確率は、その便利な特性のために、いくつかの問題の「デフォルト」選択であることがよくありますが、共役事前確率を介して事前知識を表現できない限り、必ずしも「最良」であることを意味しません。計算の進歩により、共役性はかつてほど高く評価されていないため（ギブスサンプリングvs NUTSを参照）、非共役事前確率を使用して推論をより簡単に行うことができます。

ハイパー優先順位は、優先順位の優先順位です。これは、たとえば、$N(\mu,\sigma^2)$ 固定されたパラメータの前 $\mu$ そして $\sigma^2$、パラメーターの事前分布を表すことができます $\mu$ パラメータの事前 $\sigma^2$。ほとんどの場合、これは階層モデルで使用され、問題のすべてのデータポイントに共通の機能があると考えられる場合（たとえば、同じ実験のレプリケーションで統計分析を実行しているため）、データは、この一般的な分布からデータポイントへのパラメーターのランダムな割り当てが原因であると説明されています。