異なる答えを与えるベイジアンおよび頻繁なアプローチの例

54

注：私は午前の意識哲学的ベイズとfrequentist統計との違い。

たとえば、「テーブル上のコインが頭である確率」は、すでに頭または尾を上陸させているため、頻繁な統計では意味がありません。確率については何もありません。そのため、この質問には、頻繁な表現では答えがありません。

しかし、そのような違いは、具体的に私が尋ねている種類の違いではありません。

むしろ、上で述べた例のような理論的/哲学的な違いを除いて、整形式の質問に対する彼らの予測が実際にどのように異なるかを知りたいと思います。

言い換えれば：

頻度の高い統計とベイジアン統計の両方で答えられる質問の例は何ですか？その答えは2つで異なりますか？

（たとえば、それらの1つが特定の質問に対して「1/2」と答え、他の1つが「2/3」と答える場合があります。）

そのような違いはありますか？

もしそうなら、いくつかの例は何ですか？
そうでない場合、特定の問題を解決するときにベイジアン統計と頻度統計のどちらを使用するかによって、実際に違いが生じるのはいつですか？
なぜ一方が他方を支持して避けるのですか？

bayesian frequentist

— Mehrdad
ソース

8

ジョン・クルシュケは、ベイジアン法と標準統計法を比較する2つのビデオを作成しました。彼は、ベイジアン法は拒否するが、標準法は拒否しない多くの例を持っています。たぶんあなたが探していたものではありませんが、とにかく... youtu.be/YyohWpjl6KUとyoutu.be/IhlSD-lIQ_Y。

— ラスマスバース

4

二項分布は、場合によっては頻度（推論ベース）推論とベイジアン推論が異なる別の例を提供します。パラメーターのプロファイル尤度は、一部のサンプルでは（を参照）として減衰しません。これは、いくつかの尤度信頼区間の長さが無限であることを意味します。一方、周辺事後分布は、積分可能であるため、として常に減衰し。

N

$N$

0

$0$

N \to \infty

$N\rightarrow \infty$

N

$N$

0

$0$

N \to \infty

$N\rightarrow\infty$

@Procrastinator：ありがとう、私は今言及されているスライドを見ている。これは私の数学的な背景よりも少し強烈に思えますが、うまくいけばそれから何かを得られるでしょう。:)

— Mehrdad

2

ストーンの例をご覧ください。私はここに私のブログにそれを説明する：normaldeviate.wordpress.com/2012/12/08/...

— ラリー・ワッサーマン

1

@mbq：不思議に思って、なぜこれがコミュニティwikiになったのですか？

— Mehrdad 14

9

この例はここから取られます。（SOからこのリンクを取得したと思いますが、もう見つかりません。）

コインは回投げられ、頭は回上がっています。さらに2回投げる場合、2つの頭に賭けますか？最初のトスの結果が2番目のトスの前に表示されない（また、独立して条件付けられる）ため、2回のスローの間に意見を更新できないと仮定します。 $n=14$ $k=10$ $\theta$ $\theta$

独立により、次に、 -priorを与えられた予測分布は、

f (y_{f, 1} = heads, y_{f, 2} = heads | θ) = f (y_{f, 1} = heads) f (y_{f, 2} = heads | θ) = θ^{2} .

$f(y_{f,1}=\text{heads},y_{f,2}=\text{heads}|\theta)=f(y_{f,1}=\text{heads})f(y_{f,2}=\text{heads}|\theta)=\theta^2.$

Beta (α_{0}, β_{0})

$\text{Beta}(\alpha_0,\beta_0)$

\begin{array}{rcl} f (y_{f, 1} = heads, y_{f, 2} = heads | y) & = & \int f (y_{f, 1} = heads, y_{f, 2} = heads | θ) π (θ | y) d θ \\ = & \frac{Γ (α_{0} + β_{0} + n)}{Γ (α_{0} + k) Γ (β_{0} + n - k)} \int θ^{2} θ^{α_{0} + k - 1} {(1 - θ)}^{β_{0} + n - k - 1} d θ \\ = & \frac{Γ (α_{0} + β_{0} + n)}{Γ (α_{0} + k) Γ (β_{0} + n - k)} \frac{Γ (α_{0} + k + 2) Γ (β_{0} + n - k)}{Γ (α_{0} + β_{0} + n + 2)} \\ = & \frac{(α_{0} + k) \cdot (α_{0} + k + 1)}{(α_{0} + β_{0} + n) \cdot (α_{0} + β_{0} + n + 1)} \end{array}

$\begin{eqnarray*} f(y_{f,1}=\text{heads},y_{f,2}=\text{heads}|y)&=&\int f(y_{f,1}=\text{heads},y_{f,2}=\text{heads}|\theta)\pi(\theta|y)d\theta\notag\\ &=&\frac{\Gamma\left(\alpha _{0}+\beta_{0}+n\right)}{\Gamma\left(\alpha_{0}+k\right)\Gamma\left(\beta_{0}+n-k\right)}\int \theta^2\theta ^{\alpha _{0}+k-1}\left( 1-\theta \right) ^{\beta _{0}+n-k-1}d\theta\notag\\ &=&\frac{\Gamma\left(\alpha_{0}+\beta_{0}+n\right)}{\Gamma\left(\alpha_{0}+k\right)\Gamma\left(\beta_{0}+n-k\right)}\frac{\Gamma\left(\alpha_{0}+k+2\right)\Gamma\left(\beta_{0}+n-k\right)}{\Gamma\left(\alpha_{0}+\beta_{0}+n+2\right)}\notag\\ &=&\frac{(\alpha_{0}+k)\cdot(\alpha_{0}+k+1)}{(\alpha_{0}+\beta_{0}+n)\cdot(\alpha_{0}+\beta_{0}+n+1)} \end{eqnarray*}$ の前に均一の場合（

Beta (1, 1)

$\text{Beta}(1, 1)$ -prior）、これはおよそ.485になります。したがって、あなたはおそらく賭けないでしょう。MLE 10/14に基づいて、の2つのヘッドの確率を計算し、賭けが意味をなすようにします。

(10 / 14)^{2} \approx .51

$(10/14)^2\approx.51$

— Christoph Hanck
ソース

ちょうど私が探していた種類の答えに+1、ありがとう。

— Mehrdad

5

実際、回答で参照されている投稿に更新がありました...彼は投稿を残しましたが、「事前分布として均一分布を使用する代わりに、さらに不可知論者になることができます。この場合、Beta（ 0,0）事前分布。このような分布は、分布の平均が等しくなる可能性がある場合に対応します。この場合、ベイジアンとフリークエンティストの2つのアプローチは同じ結果をもたらします。!!! したがって、この質問に答えるにはまだ例が必要です！したがって、この質問に対する真の回答として、以下の回答に+1します。

— user1745038

10

ここで私の質問を参照してください。これは、統計の真の値が信頼区間のどこにも存在しないことを確実にするために十分な情報がサンプルに含まれている、正しく構築された頻度主義信頼区間の例を与えるエドウィン・ジェインズの論文に言及していますしたがって、信頼区間はベイジアンの信頼区間とは異なります）。

ただし、この理由は、信頼区間と信頼区間の定義の違いです。これは、頻度の頻度定義とベイジアン確率の定義の違いの直接的な結果です。ベイジアンに（信頼できるというよりも）ベイジアンの信頼区間を作成するように依頼した場合、間隔が同じになる事前確率は常に存在するので、違いは事前確率の選択になります。

頻度の高い手法とベイジアン手法のどちらが適切かは、提起したい質問に依存します。そして、結局のところ、答えを決定するのは哲学の違いです（ただし、必要な計算と分析の労力は考慮されません）。

頬にややこしいので、ロングランの頻度は命題の相対的な妥当性を決定する完全に合理的な方法であると主張することができます。主観主義者のベイジアンも同じ方法で答えることができますが、異なる事前確率を選択した場合は他の方法で答えることもできます。; o）

— ディクランマースピアル
ソース

4

「主観的ベイジアン」の使用は少し自己破壊的です（を参照）。一般的にモデリングは主観主義に満ちています。サンプルをモデリングするための分布の選択も主観的です。特定のモデルが妥当かどうかをチェックする適合度テストの選択でさえ主観的です。

2

「主観的」が軽jor的であると誰かが考える場合、それは彼らの誤りです。時々、私たちが確率を意味するとき、私たちは実際に主観的な個人的信念を意味します-それが実際に意味されるものであるとそれを呼ばない理由はないと思います（確率の定義は純粋に主観的な選択であるため、長期の周波数のみを受け入れることを選択します）。

— ディクランマースピアル

1

リンクに+1の感謝、それは非常に啓発的です。また、信頼区間と信頼区間の違いについても注意してください。

— Mehrdad

8

このホワイトペーパーは、2つの間の実際のアプリケーションにおけるトレードオフについて、より意図的な意味を持っていると思います。これの一部は、テストよりも間隔を好むためかもしれません。

グスタフソン、P。およびグリーンランド、S。（2009）。乱雑な観測データの区間推定。統計科学 24：328–342。

間隔に関しては、頻繁な信頼区間が均一なカバレッジ（正確に、または少なくとも0％の確率を持たないすべてのパラメーター値に対してx％より大きい）を要求/要求することを覚えておく価値があります。それがある-彼らは本当に信頼区間を知らない。（さらに進んで、カバレッジを変更する関連サブセットも除外しなければならないと言う人もいます。）

ベイジアンカバレッジは通常、それを緩和することによって定義され、「平均カバレッジ」を前提として、前の仮定が正確に正しいことが判明します。Gustafson and Greenland（2009）は、これらの全能事前分布を呼び出し、より適切な評価を提供するために間違いの可能性があるものを検討します。

— パネロン
ソース

1

+1この制限の違いについては、指摘してくれてありがとう。

— Mehrdad

3

誰かが頻繁な回答とベイジアン回答の両方を含む質問を提起した場合、他の誰かが質問のあいまいさを特定できて、それが「整形式」にならないのではないかと思います。

つまり、頻繁な回答が必要な場合は、頻繁な方法を使用します。ベイジアン解が必要な場合は、ベイジアン法を使用してください。必要なものがわからない場合は、質問を明確に定義していない可能性があります。

ただし、現実の世界では、多くの場合、問題を定義したり質問したりするためのいくつかの異なる方法があります。どちらの方法が望ましいかが明確でない場合があります。これは、クライアントが統計的に素朴な場合に特に一般的です。また、ある質問が別の質問よりも答えるのがはるかに難しい場合もあります。そのような場合、クライアントが尋ねている質問や解決している問題にクライアントが正確に同意するように努めながら、最も簡単な方法で対処することがよくあります。

— エミル・フリードマン
ソース

3

自由に利用できる教科書の情報理論、推論、学習アルゴリズムの演習3.15をMacKayで見ることをお勧めします。

エッジで250回スピンすると、ベルギーの1ユーロ硬貨が頭に140回、尾に110回出現しました。「コインに偏りがない場合、それが可能な限り極端な結果を得る可能性は7％未満です」。しかし、これらのデータは、コインが公正ではなく偏っているという証拠を提供していますか？

この例は、教科書の63〜64ページで詳しく説明されています。結論は、値はですが、ベイジアンアプローチは、事前に応じて、いずれかの仮説に対してさまざまなレベルのサポートを提供します。これは、人工的に極端な事前確率が使用されている場合に、コインが偏っているという証拠のない推奨回答（フラット事前確率が使用される場合）から不偏の帰無仮説に対する以下の回答にまで及びます。 $p$ $0.07$ $6:1$

— ヒラメ
ソース