ベイズ統計へのゲントラーのアプローチ

私は最近、Bolstadの「ベイジアン統計入門」第2版を読み始めました。私は主に統計的テストをカバーする入門的な統計クラスを持っていて、ほとんど回帰分析のクラスを通り抜けています。この本を理解するために、他にどのような本を使用できますか？

最初の100〜125ページで問題なく完了しました。その後、本は仮説のテストについて語り始めます。これは、私がカバーすることを非常に楽しみにしているものですが、いくつかのことが私を投げています：

• 計算における確率密度関数の使用。言い換えれば、そのような方程式を評価する方法。
• この文全体：「我々はパイのための先行ベータ（1,1）を使用すると仮定すると、Y = 8与えられ、事後密度は、ベータ（9,3）で帰無仮説の事後確率は...。。」私は信じています beta（1,1）は、平均が1で標準偏差が1のPDFを指しますか？事後密度関数としてベータ（9,3）にどのように変化するかわかりません。

事前対事後の概念を理解し、テーブルを使用して手動でそれらを適用する方法を理解しています。piは、想定される人口の割合または確率を表していると思います！

これを毎日実行するデータと結び付けて結果を得る方法がわかりません。

計算における確率密度関数の使用。言い換えれば、そのような方程式を評価する方法。

私はあなたがまだ頻繁な視点からこれを考えていると思う：あなたがポイント推定値を探しているなら、事後はそれをあなたに与えないでしょう。PDFを入れて、PDFを取り出します。事後分布から統計を計算することでポイントの推定値を導き出すことができますが、これについては少し後で説明します。

事前対事後の概念を理解し、テーブルを使用して手動でそれらを適用する方法を理解しています。piは、想定される人口の割合または確率を表していると思います！

は p （x ）と同じもので、両方ともPDFです。πは、特定のPDFが以前の密度であることを示すために従来から使用されています。$\pi(x)$$p(x)$$\pi$

私はあなたがあなたが前もって後輩を得ない、そしてあなたがあなたが思うと思うのではないかと思うので、ベイジアン統計の基本的な裏付けにそれをバックアップしましょう：主観的確率。

主観的確率における思考実験

コインを提示し、このコインが公正なコインだと思うかどうかを尋ねるとしましょう。多くの人が確率クラスで不公平なコインについて話すのを聞いたことがありますが、実際の生活では実際に見たことがないので、「うん、確かに、公正なコインだと思う」と答えます。しかし、私がこの質問をしているという事実はあなたを少し先送りします。したがって、あなたの推定はそれが公平であるとはいえ、そうでなければ驚くことはないでしょう。ポケットの変更でこのコインを見つけた場合よりも、それほど驚くことではありません（それがすべて本当の通貨であると仮定し、疑わしい行動をしているので、あなたは今私を本当に信用していないからです）。

次に、いくつかの実験を実行します。100回フリップした後、コインは53のヘッドを返します。あなたは、それが公正なコインであると確信していますが、そうではない可能性をまだ受け入れています。違いは、このコインが何らかのバイアスを持っていることが判明した場合、今ではかなり驚かれるということです。

ここで、特にコインが頭を表示する確率（これをと表記します）に関して、前と後の信念をここでどのように表現できますか？頻繁な設定では、以前の信念である帰無仮説は、θ = 0.5です。実験を実行した後、nullを拒否することはできません。そのため、はい、コインはおそらく公正であるという仮定を続けます。しかし、コインが公正であるというあなたの自信の変化をどのようにカプセル化できますか？実験の後、あなたはコインが公正であると賭けるだろうという立場にありますが、実験の前にあなたは恐ろしいでしょう。$\theta$$\theta = 0.5$

$\theta = 0.5$$\theta \sim N(0.5, \sigma^2)$$\theta= 0.5$$\theta=0.5$$\theta=0.5$

それでは、どのように計算を実行しますか？

私たちはPDFで始まり、PDFで終わります。ポイントの推定値を報告する必要がある場合は、事後分布の平均、中央値、モードなどの統計を計算できます（損失関数に応じて、これについては説明しません。単に平均に固執しましょう）。PDFのクローズドフォームソリューションがある場合、これらの値を決定するのはおそらく簡単です。後部が複雑な場合は、MCMCなどの手順を使用して後部からサンプリングし、作成したサンプルから統計を取得できます。

ベータ事前確率と二項尤度がある例では、事後確率の計算は非常にクリーンな計算になります。与えられた：

• $\theta \sim Beta(\alpha, \beta)$
• $X|\theta \sim Binomial(\theta)$

その後、後部は次のように縮小します。

• $\theta|X \sim Beta(\alpha + \sum_{i=1}^n x_i,\, \beta + n - \sum_{i=1}^n x_i)$

これは、ベータ事前確率と二項尤度、およびDJEが提供する計算で明らかになる理由がある場合に発生します。特定の事前尤度モデルが常に事前分布と同じ種類の分布を持つ事後分布を与える場合、事前分布と尤度に使用される分布のタイプの関係は共役と呼ばれます。共役関係を持つ分布のペアが多くあり、計算を簡素化するためにベイジアンによって共役が非常に頻繁に活用されます。特定の可能性を考えると、共役優先順位を選択することにより、人生をずっと楽にすることができます（存在する場合、優先順位の選択を正当化できます）。

beta（1,1）は、平均が1で標準偏差が1のPDFを指していると思いますか？

正規分布の一般的なパラメーター化では、2つのパラメーターは分布の平均と標準偏差を示します。しかし、それが正規分布をパラメーター化する方法です。他の確率分布は、非常に異なってパラメーター化されます。

$Beta(\alpha, \beta)$$\alpha$$\beta$

$$\begin{equation} \begin{split} X &\sim Beta(\alpha, \beta) \\ \operatorname{E}[X] &= \frac{\alpha}{\alpha + \beta} \\ \operatorname{var}[X] &= \frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)} \end{split} \end{equation}$$

明らかなように、平均と分散はこの分布のパラメーター化の一部ではありませんが、入力パラメーターの単純な関数である閉形式の解を持っています。

$Beta(1,1)$$Uniform(0,1)$

$p(\theta)=\frac{\Gamma(\alpha)\Gamma(\beta)}{\Gamma(\alpha+\beta)}\theta^{\alpha-1}(1-\theta)^{\beta-1}$$(\alpha, \beta)=(1,1)$

二項尤度（バイナリの結果と固定の成功/失敗の確率を伴う固定試行回数）を持つベータ事前分布には、事後（事前分布と尤度の積）を閉じた形式で記述することができる共役性の特性があります。

$$\begin{equation} \begin{split} p(\theta|y) &= \frac{p(y|\theta)p(\theta)}{p(y)} \\ ~\\ ~\\ &\propto\frac{\Gamma(\alpha)\Gamma(\beta)}{\Gamma(\alpha+\beta)}\theta^{\alpha-1}(1-\theta)^{\beta-1}*\binom{n}{y}\theta^y(1-\theta)^{n-y} \\ ~\\ ~\\ &\propto\theta^{\alpha-1}(1-\theta)^{\beta-1}*\theta^y(1-\theta)^{n-y} \\ ~\\ &\propto\theta^{\alpha+y-1}(1-\theta)^{\beta+n-y-1} \\ ~\\ &=\frac{\Gamma(\alpha+y-1)\Gamma(\beta+n-y-1)}{\Gamma(\alpha+\beta+n-1)}\theta^{\alpha+y-1}(1-\theta)^{\beta+n-y-1} \end{split} \end{equation}$$

$\theta$

この閉じた形式は便利ですが、決して必要ではありません。確率密度の乗算は、他の数式の乗算と同じ方法で実行できます。密度の多くの製品はベータ事前/二項尤度ほど簡単に書き換えられないため、問題が発生します。幸いなことに、ここでコンピューターがスラックを拾います。

もっと穏やかなアプローチを探しているなら、Rを使って核となる概念を説明するKruschkeの本を強くお勧めします。これは、ベイジアン統計を学習するための非常に実用的で実践的なアプローチであり、彼のWebサイトでは、使用されているすべてのコードを見つけることができます。

誰かがCam.Davidson.Pilonのテキストを私に推薦しました。まだ見ていないのですが、ここで見つけることができます。