ベイジアン対頻繁な議論の*数学的な*根拠はありますか?


67

ウィキペディアでは次のように述べています:

[確率の]数学は、確率の解釈とはほとんど無関係です。

質問:私たちは数学的に正しいことをしたい場合はその後、我々は禁止すべきではない任意の確率の解釈を?すなわち、ベイジアンと頻度の両方が数学的に間違っていますか?

私は哲学が好きではありませんが、数学は好きです。コルモゴロフの公理の枠組みの中で独占的に働きたいです。これが私の目標である場合、ウィキペディアでベイジアン主義と頻度主義の両方を拒否すべきであると言っていることに従うべきでしょうか?概念が純粋に哲学的であり、数学的なものではない場合、最初に統計に表示されるのはなぜですか?

背景/コンテキスト:
このブログ投稿ではまったく同じことを言っていませんが、テクニックを「ベイジアン」または「フリークエンシー」に分類しようとすることは、実際的な観点からは逆効果であると主張しています。

ウィキペディアからの引用が真である場合、哲学的観点から統計的方法を分類しようとすることも逆効果であるように思われます-方法が数学的に正しい場合、基礎となる数学の仮定の際に方法を使用することは有効ですそうでなければ、数学的に正しくない場合、または仮定が成り立たない場合、それを使用することは無効です。

一方、多くの人が確率論(つまりコルモゴロフの公理)で「ベイジアン推論」を特定しているように見えますが、その理由はよくわかりません。いくつかの例は、ジェームズ・ストーンの本「ベイズ・ルール」と同様に、「確率」と呼ばれるベイズ推論に関するジェインズの論文です。したがって、これらの主張を額面どおりに受けた場合、それはベイジアン主義を好むべきであることを意味します。

しかし、Casella and Bergerの本は、最尤推定量について説明しているが、最大事後推定量を無視しているため、頻繁に使用されているように見えますが、その中のすべてが数学的に正しいようにも見えます。

それでは、統計的に数学的に正しいバージョンのみが、ベイジアン主義と頻度主義に関して完全に不可知ではないことを拒否するということになるのではないでしょうか?両方の分類のメソッドが数学的に正しい場合、正確で明確に定義された数学よりも曖昧で不明確な哲学を優先するため、他のものよりもいくつかを好むのは不適切な実践ではありませんか?

要約:要するに、ベイジアン対頻繁な議論の数学的根拠が理解できず、議論の数学的根拠がない場合(これはウィキペディアが主張するものです)、なぜそれが容認されるのか分かりませんすべてが学術的な談話です。



1
@PeterMortensenこの質問をする前に、すでにその質問を見ました。しかし、その質問に対する答えは、混乱の主な原因、すなわち、2つの間に何らかの数学的な違いが存在する場合、それを扱っていませんでした。哲学的な違いは、可能性のあるモデルのスペースに影響を与えるべきではないため、私は哲学的な違いには興味がないことを忘れないでください。
Chill2Macht

1
コメントは詳細なディスカッション用ではありません。この会話はチャットに移動さました
whuber

4
ベイジアンの議論では、確率についてはそれほど重要ではなく、統計的解釈とその適用の妥当性についてはさらに重要です。
–RBarryYoung

2
@Mehrdadこの質問は、さまざまな答えを出すさまざまなアプローチに関するものではなく、数学的公理を介して、ベイジアン主義と頻度主義の違いを形式化する可能性に関するものです。リンク先の質問への回答は、2つのアプローチの公理的な違いを説明していません。
Chill2Macht

回答:


14

確率空間とコルモゴロフの公理

確率空間は、定義により、トリプルここで、は結果のセット、は代数とのサブセットは、コルモゴロフの公理を満たす確率測度です。つまり、はからまでの関数で、と互いに素ためでそれが保持Ω FPΩ F σ Ω P P F [ 0 1 ] PΩ = 1 E 1E 2... F P J = 1つのE J = Σ J = 1 PE jP(Ω,F,P)ΩFσΩPPF[0,1]P(Ω)=1E1,E2,FP(j=1Ej)=j=1P(Ej)

そのような確率空間内の一つは、二つの事象のためにすることができるでように、条件付き確率を定義するF PE 1 | E 2のD 、EのF = PE 1E 2E1,E2FP(E1|E2)=defP(E1E2)P(E2)

ご了承ください:

  1. この ''条件付き確率 ''はがで定義されている場合にのみ定義されるため、条件付き確率を定義できる確率空間が必要です。PF
  2. 確率空間は、非常に一般的な用語(で定義されているセット、 -代数と確率測度)、唯一の要件は、それとは別に、特定の特性が満たさなければならないということであるが、これらの3つの要素は「何でも」です。σ F PΩ σFP

詳細はこのリンクで見つけることができます

ベイズの規則は、任意の(有効な)確率空間で保持されます。

条件付き確率の定義から、も成り立ちます。そして、後者の2つの方程式から、ベイズの規則を見つけます。したがって、ベイズのルールは、(条件付き確率の定義により)あらゆる確率空間で保持されます(表示するには、各方程式からおよびを導出し、それらは(交差が可換であるため等しい))。 PE1E2PE2E1P(E2|E1)=P(E2E1)P(E1)P(E1E2)P(E2E1)

ベイズ規則はベイジアン推論の基礎であるため、有効な(つまり、すべての条件を満たす、コルモゴロフの公理)確率空間でベイジアン分析を行うことができます。

確率の頻繁な定義は「特殊なケース」です

上記つまり我々が持っている、「「一般的に」」保持していない特定の、、限り、心の中である -代数のサブセットにそしてコルモゴロフの公理を満たします。F P F σ Ω PΩFPFσΩP

'' frequentist ''定義がコロモゴロフの公理を満たすことを示します。その場合、「頻度」の確率は、コルモゴロフの一般的および抽象的な確率の特別な場合にすぎません。 P

例を見て、サイコロを振ってみましょう。可能なすべての結果のセットはです。また、必要なこのセットに-代数を、我々は取るの全ての部分集合の集合、すなわち。Ω = { 1 2 3 4 5 6 } σ Ω F Ω F = 2 ΩΩΩ={1,2,3,4,5,6}σΩFΩF=2Ω

確率測度を頻繁に定義する必要があります。したがって、をとして定義します。ここで、はサイコロのロールで取得されたの数です。以下のための同様の、...。PP({1})P({1})=deflimn+n1nn11nP({2})P({6})

このようにして、はすべてのシングルトンに対して定義されます。他のセット、たとえばについては、を頻繁に定義します。つまり、 が、「lim」の線形性により、これは、コルモゴロフの公理が成り立つことを意味します。PFF{1,2}P({1,2})P({1,2})=deflimn+n1+n2nP({1})+P({2})

したがって、頻度の確率の定義は、コロモゴロフの確率尺度の一般的かつ抽象的な定義の特別な場合にすぎません。

コルモゴロフの公理を満たす確率測度を定義する他の方法があるため、頻度論者の定義だけが可能なものではないことに注意してください。

結論

コルモゴロフの公理系の確率は「抽象的」であり、実際の意味はなく、「公理」と呼ばれる条件を満たす必要があるだけです。これらの公理のみを使用して、コルモゴロフは非常に豊富な定理を導き出すことができました。

頻度の確率の定義は公理を満たし、したがって、抽象的な「意味のない」を頻度の方法で定義された確率に置き換えます。これらの定理はすべて、「頻度の確率」が特別なものであるため有効です。コルモゴロフの抽象的な確率の場合(つまり、公理を満たす)。P

コルモゴロフの一般的なフレームワークで導出できるプロパティの1つは、ベイズ規則です。一般的かつ抽象的なフレームワークで保持されているように、特定のケースでは、確率が頻度主義の方法で定義されていることも保持します(頻度主義の定義が公理を満たし、これらの公理が唯一必要なものだったため)すべての定理を導き出す)。 したがって、頻度の確率の定義を使用してベイジアン分析を行うことができます。

規定 frequentistようにする唯一の可能性ではない、それはそのようなことはコルモゴロフの抽象公理を満たすことを定義する他の方法があります。ベイズの規則は、これらの「特定のケース」でも保持されます。したがって、頻度ない確率の定義でベイジアン分析を行うこともできます。P

編集2016年8月23日

コメントに対する@mpiktasの反応:

先ほど言ったように、集合および確率測度は公理系では特に意味がなく、抽象的です。 Ω,FP

この理論を適用するには、さらに定義を与える必要があります(したがって、「奇妙な定義でさらに混乱させる必要はありません」というコメントで言うこと間違っています追加の定義が必要です)。

公正なコインを投げる場合に適用しましょう。コルモゴロフの理論における集合には特別な意味はなく、「集合」でなければなりません。したがって、公正なコインの場合、このセットが何であるかを指定する必要があります。つまり、セット定義する必要があります。頭をHとして、尾をTとして表す場合、セットは定義によります。ΩΩΩ Ω=def{H,T}

イベント、つまり -algebraも定義する必要があります。定義はです。が代数であることを確認するのは簡単です。F F DとEとF = { { H } { T } { H T } } F σσFF=def{,{H},{T},{H,T}}Fσ

次に、すべてのイベントについて、その測定値を定義する必要があります。したがって、からマップを定義する必要があります。私はそれを頻繁な方法で定義します、公正なコインのために、それを大量に投げると、頭の割合は0.5になるので、を定義します。同様に、、および。そのノートからマップであるで、それはコルモゴロフの公理を満たすこと。F [ 0 1 ] P{ H } のD 、E 、F = 0.5 P{ T } のD 、EのF = 0.5 P{ H T } のD 、EのF = 1 PのD 、E F = 0 P F [ 0 1 ]EFF[0,1]P({H})=def0.5P({T})=def0.5P({H,T})=def1P()=def0PF[0,1]

確率の頻繁な定義の参照については、このリンク(セクション「定義」の最後)およびこのリンクを参照してください


10
おそらく、確率の解釈については頻度論者/ベイジアンの議論があり、統計的推論については頻度論者/ベイジアンの議論があることに注意すべきです。これらは2つの異なる(関連しているとはいえ)議論です。この回答は最初の回答についてのみ説明しますが、これは問題ありません(そして、@ Williamがこの回答を受け入れることを選んだので、ここで何に興味があったのでしょうか)。これは将来の読者へのメモであるだけでなく、ウィリアムへのメモでもあります。
アメーバは、モニカーを復活させる

2
「頻度論的確率」定義の定義への言及がなく、それなしでは投稿が意味をなさないため、私は投票しています。たとえば、 の定義は数学的にも正確ではありません。これは、サイコロのロールの制限に依存するためです。数学オブジェクトは抽象的であり、物理オブジェクトに依存しません。さらに、制限はあなたが確率変数確率空間、構築する必要が存在することを証明する定義されており、それが収束することを証明し、あなたは測度論を必要のあると...n n 1 / nP({1})nn1/n
mpiktas

2
確率の定義。そのため、定義などを許可しても循環的です。つまり、オブジェクトが定義を満たしているかどうかを確認するには、オブジェクトを定義する必要があります。そのような定義を使用し、統計の通常の結果をすべて引き出すためにそれを使用しようとする教科書への参照を取得したいです。
-mpiktas

5
Stanford Encyclopedia of Philosophy on Probability Interpretationsにあるこの長く詳細な記事には、頻度に関する詳細なセクションが含まれており、Wikipediaへのリンクよりも参考になるかもしれません(Stanford Encyclopediaは、Wikipediaとは異なり、非常に権威があります)。頻度主義の定義が意味をなすかどうか、そして頻度主義の定義を正確に構成するものでさえも、あなたと@mpiktasがコメントセクションでここで再現しているように見える150年の継続的な議論の問題であることを明確にします。
アメーバは、モニカの復活を

2
@amoeba:リンクの中で、「確率」を通常の概念とは関係のないあらゆる種類の方法で解釈できることを思い出してください。たとえば、正規化された長さなど、コルモゴロフの公理との一貫性が保たれています。
Scortchi-モニカの復職

66

統計は数学ではない

まず、Statsのコメントから@whuberの言葉を盗みますか?(異なるコンテキストで適用されるため、私は言葉を盗んでいますが、引用していません):

「統計」を「化学」、「経済」、「工学」、または数学を使用する他の分野(家政学など)に置き換えた場合、議論は変わらないようです。

これらのフィールドはすべて存在し、どの定理が正しいかをチェックするだけでは解決されない質問を持つことができます。Statsのいくつかの答えは数学ではありませんが?反対、統計は(純粋な)数学ではないことは明らかだと思います。(純粋な)数学の分野である確率論を行いたい場合、あなたが尋ねる種類の議論をすべて無視してもよいでしょう。現実世界の質問のモデリングに確率理論を適用したい場合は、数学的枠組みの公理と定理だけでなく、あなたを導くものが必要です。残りの答えは、この点についてとりとめのないことです。

「数学的に正確にしたい場合、確率の解釈を拒否すべきではない」という主張も不当に思えます。数学的な枠組みの上に解釈を置くことは、数学が不正確になることはありません(数学的な枠組みで解釈が定理であると主張されない限り)。

議論は(主に)公理についてではありません

いくつかの代替公理*がありますが、(?)論争はコルモゴロフ公理に異議を唱えることではありません。ゼロメジャー条件付けイベントの微妙な点を無視し、定期的な条件付き確率などにつながりますが、これについては十分に知りませんが、コルモゴロフの公理と条件付き確率はベイズ規則を意味し、誰も議論しません。ただし、がモデル(確率空間またはそれらのファミリー、ランダム変数などで構成される数学的セットアップの意味でのモデル)でさえランダム変数ではない場合、条件付きを計算することはもちろん不可能です。配布。また、周波数特性が正しく計算された場合、モデルの結果であるということに異議を唱える人はいません。たとえば、条件付き分布P X | Y 、P Y | θ P Y θ P Y | θ = P Y θ θ θXP(XY)p(yθ)ベイジアンモデルでは、単にとすることで、確率分布インデックス付きファミリを定義し、後者のすべてのに対して何らかの結果が成り立つ場合、前者のすべての保持します。p(y;θ)p(yθ)=p(y;θ)θθ

議論は、数学を適用する方法についてです

議論(存在する限り**)は、代わりに(現実の非数学的な)問題にどのような確率モデルを設定するか、そしてモデルのどの含意が描画(実際の-人生)結論。しかし、すべての統計学者が同意したとしても、これらの質問は存在するでしょう。[1]にリンクしたブログ投稿から引用するために、次のような質問に答えたいと思います。

カジノが$を稼ぐようにルーレットを設計するにはどうすればよいですか?この肥料は収穫量を増やしますか?ストレプトマイシンは肺結核を治療しますか?喫煙は癌を引き起こしますか?このユーザーはどの映画を楽しみますか?レッドソックスはどの野球選手と契約を結ぶべきですか?この患者は化学療法を受けるべきですか?

確率論の公理には野球の定義すら含まれていないため、「レッドソックスは野球選手Xと契約を結ぶべき」は確率論の定理ではないことは明らかです。

ベイジアンアプローチの数学的正当化に関する注意

ジェインズが言及するコックスの定理など、すべての未知のものを確率論とみなすための「数学的な正当化」があります(数学的な問題があると聞きましたが、修正されているかどうかはわかりませんが、[2]を参照してください。参照)または(主観的ベイジアン)サベージアプローチ(これは[3]にあると聞いたことがありますが、本を読んだことがありません)は、特定の仮定の下で、合理的な意思決定者が状態にわたって確率分布を持つことを証明しますそして、ユーティリティ関数の期待値を最大化することに基づいて彼の行動を選択します。ただし、レッドソックスのマネージャーが仮定を受け入れるべきかどうか、または喫煙が癌を引き起こすという理論を受け入れるべきかどうかは、数学的な枠組みから推論することはできません。

脚注

*私はそれを研究していませんが、de Finettiには条件付き確率が条件付けによる(無条件の)測定から得られるのではなくプリミティブであるアプローチがあると聞きました。[4]は、(ベイジアン)ホセ・ベルナルド、デニス・リンドリー、ブルーノ・デ・フィネッティの間で、加算性が必要かどうかについての居心地の良いフランスのレストランでの議論に言及しています。σ

** [1]にリンクしているブログ投稿で述べたように、あるチームに属し、他のチームを軽deする統計学者との明確な議論はないかもしれません。私たちは最近、すべて実用主義者であり、無駄な議論は終わったと言ったと聞いています。しかし、私の経験では、これらの違いは、たとえば、誰かの最初のアプローチがすべての未知数をランダム変数としてモデル化するかどうか、そして誰かが周波数保証に興味を持っているかどうかに存在します。

参照資料

[1] Simply Statistics、Rafa Irizarry、Roger Peng、Jeff Leekによる統計ブログ、「データサイエンティストのためのベイジアン対フリークエンティストの議論を宣言する」、2014年10月13日、http://simplystatistics.org/2014/10 / 13 / as-an-an-applied-statistician-i-find-the-frequentists-versus-bayesians-debate-completely-inconsentialential /

[2]デュプレ、MJ、およびティプラー、FJ(2009)。厳密なベイズ確率の新しい公理。ベイジアン分析、4(3)、599-606。http://projecteuclid.org/download/pdf_1/euclid.ba/1340369856

[3]サベージ、LJ(1972)。統計の基礎。Courier Corporation。

[4]ベルナルド、JMバレンシア物語-バレンシア統計に関するバレンシア国際会議の起源と発展の詳細。 http://www.uv.es/bernardo/ValenciaStory.pdf


13
+1、特に「確率論の公理には野球の定義さえ含まれていません」。
アメーバは、モニカを復活させる

5
@William:パラメーターは定数のランダム変数であるとは考えられていません-それは推測または観察される事実ではありません。問題は、確率分布を使用してパラメーターの真の値に関する認識論的不確実性を表すかどうかです。(
周波数

4
@William古典的なモンティホールには、パラメーターまたはデータとして合理的に解釈されるものは何もありません。これは確率の問題です。ベイジアン/ フリークエンティストのアプローチは、たとえば、ゲームショーの複数のエピソードを見て、ここで説明されているパラメーター化されたバリアントのパラメーターを推定したい場合にのみ有効になります。私は、ベイジアンとして、例えば、ベータよりも前にを入れて、更新を開始するでしょう。これがコンピューターシミュレーションでうまく機能するかどうかは、コンピューターシミュレーションがを選択する方法に大きく依存します。q qqqq
ジュホコッカラ

8
私はコメントセクションでこれに関する議論を続けることに興味がないことに先制的に注意します。なぜなら、それは(このサイトもまったく)議論の場ではないからです。
ジュホコッカラ

2
「統計は数学ではない」ことに完全に同意します。ウィグナーは、「物理学における数学の不合理な有効性」と呼ばれるエッセイを書きました。それは、数学の抽象的な世界と物理学の具体的な世界との間に固有のつながりがなかったと主張しました。数学が物理学を説明するのに非常にうまく機能したことは驚くべきことであり、素晴らしいことでした。同じことが統計にも当てはまります。「統計学における数学の不合理な有効性」を書いている人を楽しみにしています。私は個人的には、抽象的な数学が統計現象を記述するのに非常にうまく機能することを驚くべきと感じています。
aginensky

32

ベイジアン対頻度論争の数学的根拠は非常に単純です。ベイジアン統計では、未知のパラメーターは確率変数として扱われます。頻度統計では、固定要素として扱われます。ランダム変数は、セットの単純な要素よりもはるかに複雑な数学オブジェクトであるため、数学的な違いは非常に明白です。

しかし、モデルの観点からの実際の結果は驚くほど似ている可能性があります。たとえば、線形回帰を考えてみましょう。情報価値のない事前分布を伴うベイズ線形回帰は、回帰パラメーター推定値の分布につながります。その平均は、頻度理論線形回帰のパラメーターの推定値に等しく、最小二乗問題の解決策であり、確率理論の問題ではありません。それにもかかわらず、上記の理由により、同様の解に到達するために使用された数学はまったく異なります。

当然、未知のパラメーターの数学的特性(セットのランダム変数と要素)の扱いが異なるため、競合アプローチを使用する方が有利であると思われる場合に、ベイジアン統計と頻出統計の両方がヒットします。信頼区間はその代表例です。MCMCに頼らずに簡単な見積もりを取得することもできます。ただし、これらは通常、味の問題であり、数学の問題ではありません。


5
定数はランダム変数の特殊なケースですが、ベイジアン主義がより一般的であると結論付けることをheします。ランダム変数を定数に単純に折り畳むだけでは、ベイジアンのものから頻繁な結果を得ることはありません。違いはより深刻です。パラメーターが未知の定数であると仮定すると、研究の焦点は推定値になります。これはランダム変数であり(サンプルの測定可能な関数であるため)、パラメーターの真の値にどれだけ近いか、または、どのようにして推定値を取得するので、実際の推定値に近くなります。
mpiktas

6
推定値はランダム変数であるため、測定理論を無視して研究することはできません。そのため、多くの統計学者が驚くほどの無知と測定理論への軽disを示すというあなたの声明は非常に驚くべきものです。A. van der Vaartの漸近統計を読みましたか?私はこの本を頻繁な統計の非常に良い概観と考えて、そこで非常に顕著に理論の特徴を測ります。
mpiktas

3
一方、ベイジアン統計は、パラメーターの分布をほぼ即座に導き出します。次に問題は、実際にそれを計算する方法(さまざまなサンプリングアルゴリズム、メトロポリスヘイスティングスなどに関する多くの研究)と事前の重要性です。私はベイジアン統計の研究にあまり詳しくないので、私の一般化は少しずれているかもしれません。個人的な好みに
進み

3
それは常に正規分布とその共役から始まり、これがあなたをどこまで導くかです。私が扱うほとんどすべてのデータは通常配布されないため、私はすぐに疑わしく、配布に依存しないメソッドを使用することを好みます。しかし、これは個人的な好みであり、応用作業では、頻繁なアプローチが失敗してベイジアンアプローチに切り替える必要があるという問題がまだ見つかっていないことがわかりました。
mpiktas

4
「それは常に正規分布とその共役から始まり、これがあなたをどこまで導くか...」-これが、モンテカルロ法を使用して事後パラメータ分布からサンプリングする理由です。これらは一般的なディストリビューション(BUGSソフトウェアとそのバリアント)でも機能します。
ジョン・ダン

25

哲学は好きではありませんが、数学は好きです。コルモゴロフの公理の枠組みの中で独占的に働きたいです。

コルモゴロフの公理を解釈せずにどの程度正確に適用しますか?確率をどのように解釈しますか?「確率推定値はどういう意味ですか?」0.5と尋ねた人に何を言いますか?あなたの結果は数字のだと言いますか0.5、公理に従うので正しいですか?解釈がなければ、これは、実験を繰り返した場合に結果を期待できる頻度を示唆しているとは言えません。また、この数字は、イベントが発生する可能性についてどの程度確信があるかを示すとは言えません。また、これはあなたがその出来事がどれほどありそうだと信じているかということを答えることもできません。期待値をどのように解釈しますか?いくつかの数値は他のいくつかの数値で乗算され、公理と他のいくつかの定理に従うので有効です。

数学を現実の世界に適用したい場合は、解釈する必要があります。解釈なしの数字だけは...数字です。人々は期待値を推定するために期待値を計算するのではなく、現実について何かを学ぶために。

さらに、現実世界の出来事に統計(および確率自体)を適用する一方で、確率は抽象的です。最も基本的な例を見てみましょう:公正なコイン。頻繁な解釈では、このようなコインを何度も投げた場合、同じ数の頭と尾が期待されます。ただし、実際の実験では、これはほとんど起こりません。したがって、特定のコインが特定の回数投げられても、確率は実際には何の関係もありません。0.5

確率は存在しません

-ブルーノ・デ・フィネッティ


3
「このようなコインを何回も投げた場合、同じ数の頭と尾が期待されます」-それは、多数の法則の誤った理解です。Feller's An Introduction to Probability Theory and ApplicationsのVolume 1のIII章を参照してください。たとえば、67ページの「通常のコインの集団では、大多数は必然的に不適応です」。
Chill2Macht

1
@Williamだから、「p = 0.5はどういう意味ですか?」という質問に正確に答えますか?pはコイン投げ実験の確率の推定値です...?
ティム

1
また、「多数派」に言及しているFellerを引用しています。確率の頻繁な解釈をしていない場合、その大部分は正確に何ですか。
ティム

7
物事を過度に単純化する:頻繁な視点での確率は、起こりうるイベントの中で起こるイベントの割合に関連しています。ベイジアン解釈では、どれだけ信じられるかについてです(en.wikipedia.org/wiki/Probability#Interpretationsを参照)。サンプルスペースなどについて教えて、あなたは単一の将来のコイントス以外にも何かがあると仮定しました-これは確率のあなたの解釈です。それ。あなたの解釈は完全に正しいですが、これは
ティム

5
解釈。現実の出来事に確率を適用するには、そのような解釈を行う必要があります。2016年にトランプが米国の選挙に勝つ確率はどのくらいですか?この確率は、確率が何であるかを推測しないと答えられません。
ティム

10

ベイジアン推論と頻度論的推論との対比についての私の見解は、最初の問題は確率を求めるイベントの選択だということです。頻度論者は、あなたが証明しようとしているもの(例えば帰無仮説)を仮定し、その仮定の下で、あなたがすでに観察した何かを観察する確率を計算します。このような逆情報フロー順序の確率と医療診断の感度と特異性の間には正確な類似性があり、これは大きな誤解を引き起こし、前方確率を得るためにベイズのルールによって救済される必要があります(「テスト後確率」)。ベイジアンはイベントの確率を計算し、絶対確率はアンカーなしで計算することは不可能です(前)。ステートメントの真実性のベイジアン確率は、特定の未知の仮定の下でデータを観察する頻度の高い確率とは大きく異なります。頻度は、行われた、または行われた可能性のある他の分析(多重度、順次テストなど)に合わせて調整する必要がある場合、違いはより顕著になります。

したがって、数学的基礎の議論は非常に興味深いものであり、非常に適切な議論です。ただし、フォワード確率とバックワード確率の基本的な選択を行う必要があります。したがって、厳密には数学ではない、条件付けられているものが非常に重要です。ベイジアンは、すでに知っていることを完全に調整することが重要だと考えています。頻繁に多くの場合、数学を単純にするものを条件とします。


9

これを2つの別々の質問に分割し、それぞれに回答します。

1.)頻度論者とベイジアンの観点で確率が何を意味するかについての異なる哲学的見解を考えると、ある解釈に適用され、別の解釈には適用されない確率の数学的なルールはありますか?

いいえ。確率のルールは、2つのグループ間でまったく同じままです。

2.)ベイジアンとフリークエンティストは同じ数学モデルを使用してデータを分析しますか?

一般的に言えば、いいえ。これは、2つの異なる解釈が、研究者が異なるソースから洞察を得ることができることを示唆しているためです。特に、Frequentistフレームワークは、観測されたデータからのみ関心のあるパラメーターを推測できることを示唆すると考えられがちですが、ベイジアンの観点からは、主題に関する独立した専門知識も含めるべきであることが示唆されます。異なるデータソースは、異なる数学モデルが分析に使用されることを意味します。

それは何より関連している二つの陣営で使用されるモデルとの間にたくさんの格差があることに注目すべきでもありました何がより行われてすることができますが、(つまり、あるキャンプで伝統的に使用されている多くのモデルは、他のキャンプで正当化できます)。たとえば、BUGモデル(ギブスサンプリングを使用したベイジアン推論、多くの理由でモデルのセットを正確に記述しなくなった名前)は、伝統的にベイジアンメソッドで分析されますが、これは主に(JAG、たとえば、スタン)。ただし、これらのモデルが厳密にベイジアンでなければならないということはありません。実際、私はこれらのモデルをBUGフレームワークで構築するプロジェクトNIMBLEに取り組みましたが、ユーザーはそれらのモデルを推論する方法についてより多くの自由を得ることができます。提供したツールの大部分はカスタマイズ可能なベイジアンMCMCメソッドでしたが、これらのモデルに対しても、従来の頻度分析法である最尤推定を使用できます。同様に、事前分布は、頻繁にベイジアンでできることと、フリークエンティストモデルではできないと考えられています。ただし、ペナルティ推定は、正則化パラメーター推定を使用して同じモデルを提供できます(ただし、ベイジアンフレームワークは正則化パラメーターを正当化および選択する簡単な方法を提供しますが、頻度の高い人は、多くのデータの最良のシナリオでは、これらの正則化パラメーターは、多数の交差検証されたサンプルで、サンプル誤差の推定値を下げたためです」...良くも悪くも。


1
「特に、フリークエンティストのフレームワークは、観測されたデータからのみ関心のあるパラメーターを推測できることを示唆していると考えられますが、ベイジアンの視点では、独立した専門知識も含めるべきだと示唆しています。主題について」。主に、頻度論者は、何らかの理由で、主題に関する独立した専門知識に興味がないという意味のために。常連客とベイジアンの違いは、前者が以前の知識や文脈の使用を頑固に拒否することではない...(1/2)
ライアンシモンズ

1
...ではなく、2つの学派がその事前知識/コンテキストを異なる方法で利用しているということです。ベイズの視点は、この事前知識をモデルに直接組み込むために、より原則的なアプローチを取ると主張するかもしれません(ただし、情報価値のない事前知識の広範な使用は、この議論を希薄化するでしょう)。しかし、私はそれを、その情報を使用しない頻度の高い問題の問題であると特徴付けることは公平ではないと思います。(2/2)
ライアンシモンズ

1
@RyanSimmons:そうです、これが私が「しばしば提案するように思われる...」と述べた理由です。たとえば、専門家の意見の周りのパラメーター推定値を正規化すると、長期的にはより良い予測につながる傾向があることを研究者が観察した場合、これを周波数主義のフレームワークに組み込むことに問題はありませんデータのみの推定量よりも長期的な動作特性」)。しかし、これはベイジアンフレームワークほど単純ではありません。
クリフAB

1
けっこうだ!私は同意します。
ライアンシモンズ

5

ベイジアンとフリークエンティストは、確率は異なるものを表すと考えています。頻度の高い人は、周波数に関連していると考え、周波数が可能なコンテキストでのみ意味をなします。ベイジアンは不確実性を表現する方法としてそれらを見る。どんな事実も不確実である可能性があるため、何でも可能性について話すことができます。

数学的な結果は、頻度論者は確率の基本方程式が時々適用されるだけだと考え、ベイジアンは常に適用されると考えているということです。そのため、彼らは同じ方程式を正しいと見なしますが、それらの一般性は異なります。

これには、次の実際的な結果があります。

(1)ベイジアンは確率論の基本方程式(そのベイズ定理はほんの一例です)からメソッドを導き出しますが、頻度論者は各問題を解決するために次々と直感的なアドホックアプローチを発明します。

(2)不完全な情報から推論する場合、確率論の基本方程式を一貫して使用する方が良いか、問題が発生することを示す定理があります。多くの人々は、そのような定理がどれほど有意義であるかについて疑問を抱いていますが、これは実際に見られるものです。

たとえば、実世界の無邪気な95%の信頼区間は、(信頼区間の導出に使用されたのと同じ情報から)おそらく不可能な値のみで構成される可能性があります。言い換えれば、頻度論的手法は単純な演logic論理と矛盾する可能性があります。確率論の基本方程式から完全に導出されたベイズ法には、この問題はありません。

(3)ベイジアンは、フリークエンティストよりも厳密に一般的です。ファクトには不確実性がある可能性があるため、ファクトには確率を割り当てることができます。特に、作業中のファクトが(予測しているデータまたはデータの一部として)実世界の頻度に関連している場合、ベイジアンメソッドは他の実世界のファクトと同じようにそれらを考慮して使用できます。

その結果、フリークエント主義者が自分の方法がベイジアンに適用されると感じる問題も自然に機能します。ただし、頻度は、たとえば複数の宇宙を想像したり、実行されることはなく、原則として不可能である可能性のある無限の繰り返しを発明するなど、頻度を「頻度」として解釈するために、 。


7
あなたが提供した太字のステートメントへの参照を提供していただけますか?たとえば、「頻度論者は確率の基本方程式は時々しか当てはまらないと考えていますか?」そして、確率の基本的な方程式は何ですか?
mpiktas

6
B対Fの議論よりもはるかに興味深いのは、不可能な値を含む信頼区間についての発言です。不可能な値のみを含む95%CIの具体例を挙げたり、リンクしたりできますか?これは、すべての統計学者が彼らの人生で少なくとも一度は見るべきだったものの1つである可能性があります(注意書きとして)が、私はそうではありません。
ビンセント

9
CIにすべての「不可能な」値が含まれる可能性があるからといって、「単純な演ductive論理と矛盾する」ことはまったくありません。これは、CIの定義の誤解、またはCIの解釈と信頼できる間隔の混同のように聞こえます。
whuberの

7
これは、OPの質問(厳密に哲学に関するものではない)への答えというよりは、哲学的な暴言のように思えます。
クリフAB

5
「すべての統計学者がCI(実際の目的や実世界との接触を持たないCI)から推測することは、同じ証拠から推論できることと矛盾する可能性があります」。これ、頻度主義者が確率の規則を無視するというあなたの主張を決して裏付けません。そして、これは「ベイズ対フリークエンティスト:戦え!」というよく踏まれた道を進んでいるのではないかと心配しています。ここのほとんどの読者は避けたいと思うでしょう。
クリフAB

3

質問:次に、数学的に正確にしたい場合、確率の解釈を禁止するべきではありませんか?すなわち、ベイジアンと頻度の両方が数学的に間違っていますか?

はい、これはまさに科学哲学と数学の両方で人々が行うことです。

  1. 哲学的アプローチ。ウィキペディアは、確率の解釈/定義の大要を提供しています。

  2. 数学者は安全ではありません。過去において、コルモゴロビアン学派は確率の独占を持っていました:確率は、空間全体に1を割り当てる有限尺度として定義されます... 量子確率無料の確率


ランダム変数の可換性の仮定を緩和することの意味を理解していますか?(自由確率に関して-量子確率の背後にある考え方を理解するのに十分なQMがわからない)これは、または意味するのでしょうか?フォンノイマン代数と代数の議論は後者を意味すると思います。X Y Y X C X+YY+XXYYXC
Chill2Macht

7
@William代数は、統計が適用されるほとんどのモデルを正しくモデル化しません。(類推により、複素数の発明は、自然数の現象への適用にまったく影響を与えませんでした。確率の数学的概念を拡張することで、現在理解されている確率の適用方法が変わることはありません。) 、この答えは不可解です。確率の適用に関する唯一の純粋に数学的な問題は、その公理が一貫しているかどうかであり、それは単純なモデルで簡単に証明されます。C
whuber

2

bayes / frequentistの議論は多くの根拠に基づいています。あなたが数学的基礎について話しているなら、私は多くはないと思います。

両方とも、複雑な問題に対してさまざまな近似方法を適用する必要があります。2つの例は、頻度の高い「ブートストラップ」とベイジアンの「mcmc」です。

彼らは両方ともそれらを使用する方法のための儀式/手順が付属しています。頻度の高い例は「何かの推定量を提案し、繰り返しサンプリングの下で​​その特性を評価する」であり、ベイジアンの例は「あなたが知っていることを条件に、わからないものの確率分布を計算する」です。この方法で確率を使用するための数学的な根拠はありません。

議論は、実世界の問題を解決するためのアプリケーション、解釈、および能力に関するものです。

実際、これはしばしば「彼らの側」を議論する人々によって使用され、「反対側」によって使用される特定の「儀式/手順」を使用して、理論全体を彼らのために捨てるべきだと主張します。いくつかの例が含まれます...

  • 愚かな事前順位を使用する(チェックしない)
  • 愚かなCIを使用する(チェックしない)
  • 計算手法と理論の混同
  • 特定のアプリケーションの問題を1つの理論で話し、他の理論が特定の問題を「より良く」解決する方法ではない

ハハはい、これは非常に本当だと思います。私は教授がベイジアン主義がどれほどひどいものであるかについて30分間話を聞かなければなりませんでした。その前に」。私のポイントは、ストローマンの議論がたくさんあることに同意します。
Chill2Macht

1

それでは、統計的に数学的に正しいバージョンのみが、ベイジアン主義と頻度主義に関して完全に不可知ではないことを拒否するということになるのではないでしょうか?両方の分類のメソッドが数学的に正しい場合、正確で明確に定義された数学よりも曖昧で不明確な哲学を優先するため、他のものよりもいくつかを好むのは不適切な実践ではありませんか?

いいえ、従いません。自分の感情を感じることができない個人は、生物学的に決定を下すことができません。これには、客観的な解決策が1つしかないように見える決定も含まれます。その理由は、合理的な意思決定は、私たちの感情的な能力と、認知的および感情的な好みの両方に依存するからです。それは怖いですが、それは経験的な現実です。

Gupta R、Koscik TR、Bechara A、Tranel D.扁桃体および意思決定。神経心理学。2011; 49(4):760-766。doi:10.1016 / j.neuropsychologia.2010.09.029。

オレンジよりもリンゴを好む人は、好みであるため、これを守ることはできません。逆に、リンゴよりもオレンジを好む人は、これが好みなので、これを合理的に守ることはできません。りんごの価格はオレンジの価格に比べて高すぎるため、りんごを好む人はしばしばオレンジを食べるでしょう。

ベイジアンとフリークエンティストの論争の多くは、尤度主義とフリークエンティストの論争の多くが、理解の誤りに集中していた。それにもかかわらず、カーナピア確率や基準統計などのマイナーな、またはもはや使用されていないメソッドを含む、すべてのメソッドで十分に訓練された人がいると想像する場合、他のツールよりもいくつかのツールを好むのは合理的です。

合理性は好みにのみ依存します。動作は好みとコストに依存します。

純粋に数学的な観点から、一方のツールが他方よりも優れている場合があります。この場合、コストまたは効用関数を使用してより良いと定義されますが、1つのツールのみが機能する独自の答えがない限り、コストと好みを比較検討します。

複雑な賭けの提供を検討しているブッキーの問題を考えてください。この場合、ブッキーは一貫性があり他の優れたプロパティを持っているため、ベイジアンメソッドを使用する必要がありますが、ブッキーには計算機のみがあり、鉛筆と紙さえないことも想像してください。ブッキーは、彼の計算機を使用し、頭の中で物事を追跡することで、フリークエンティストの解を計算でき、地球上でベイジアンを計算する機会がない場合があります。彼が「オランダ人の予約」のリスクを冒して喜んでいて、潜在的なコストが十分に小さいことを発見した場合、フリークエンティスト法を使用して賭けを提供することは合理的です。

それは合理的なのためにあなたがすることとらわれない、あなたの感情的な好みは、それはあなたのために良いことを見つけるため。すべての人があなたの感情的および認知的好みを共有していると信じない限り、フィールドが不可知論的であるのは合理的ではありません。

要するに、私はベイジアン対頻繁な議論の数学的根拠が何であるか理解しておらず、議論の数学的根拠がなければ(ウィキペディアが主張するものです)、なぜそれが許容されるのか全くわかりません学術的言説。

学術討論の目的は、古いアイデアと新しいアイデアの両方に光を当てることです。ベイジアン対フリークエンティストの議論とフリークホリディスト対フリークエンティストの議論の多くは、誤解と思考のずさんさから来ました。一部は、彼らが何であるかについての好みを呼ぶことに失敗することから来ました。偏りがなくノイズが多い推定者と偏りがあり正確な推定者の美徳についての議論は、感情的な好みの議論ですが、誰かがそれを理解するまで、それについての考えは野原全体で濁っているでしょう。

哲学は好きではありませんが、数学は好きです。コルモゴロフの公理の枠組みの中で独占的に働きたいです。

どうして?コックス、デ・フィネッティ、サベージよりもコルモゴロフの方が好きですか?その好みは忍び込んでいますか?また、確率と統計は数学ではなく、数学を使用します。これはレトリックの分岐です。これが重要な理由を理解するために、声明を検討してください。

メソッドが数学的に正しい場合、基礎となる数学の仮定が成立する場合にメソッドを使用することは有効です。

本当じゃない。信頼区間とその乱用の引用に関する素晴らしい記事があります:

モレイ、リチャード。Hoekstra、リンク; ラウダー、ジェフリー; リー、マイケル。Wagenmakers、Eric-Jan、信頼区間に信頼を置くことの誤り、Psychonomic Bulletin&Review、2016年、Vol.23(1)、pp.103-123

記事内のさまざまな潜在的信頼区間を読んだ場合、それぞれが数学的に有効ですが、その特性を評価すると、それらは非常に大きく異なります。確かに、提供された信頼区間の一部は、問題のすべての仮定を満たしているものの、「悪い」特性を持っていると考えることができます。リストからベイジアン間隔を削除し、4つのフリークエンティスト間隔のみに焦点を合わせた場合、間隔が広いか狭いか、または一定であるかについてより深い分析を行うと、間隔が「等しくない」ことがわかります。 「それぞれが前提と要件を満たしています。

有用であるか、可能な限り有用であるためには、数学的に有効であるだけでは不十分です。同様に、数学的には正しいかもしれませんが、有害です。この記事では、正確な位置に関する情報量が最も少ないときに正確に最も狭く、パラメーターの位置に関する完全な知識またはほぼ完全な知識が存在するときに最も広い間隔があります。とにかく、カバレッジ要件を満たし、仮定を満たします。

数学だけでは十分ではありません。


私は2番目の記事が本当に好きです。(最初の記事の結論は、私が納得するような方法で既に聞いたものであるため、読む必要はないように思われました。)私はあなたの言うことにほぼ同意します。公平を期すため、私が数学を言うとき、「応用数学」の意味と、数学研究の主題と方向、および数学の公理の選択は、現実の世界。著者らは、共通の誤謬を取る、フレーズ-また、私は2番目の記事は、私が言っている何を矛盾とは思わない
Chill2Macht

それらを数学的に(つまり、正確に、厳密に)し、それらが偽であることを示す反例を提供します。私が言おうとしていたこと(何ヶ月も前に自分の意図を正しく覚えていた場合)は、あなたの「哲学」や「哲学的アイデア」、または正確な声明に言い表すことができないもの、つまり明確に述べられなかったもの、その後、それを投げるのは無意味です。例えば、あいまいな理由でMLE(フラットな事前
分布を伴う

反論が曖昧すぎるほど曖昧すぎるため、そもそも異議を述べる正当な理由はありません。統計が「数学を使用する」からといって、私の意見では、統計学者は数学者よりもずる賢い思想家であると正当化されるわけではありません。数学者は、あなたが指摘するように、最終的には感情的な好みだけに基づいて、数学の公理が「価値がある」または「興味深い」と考えることを常に主張しています。各辺の位置がはっきりとunambiguous-あるので、しかし、これらの引数は、物質を有し、かつ、前方のフィールドを移動する実際に可能である
Chill2Macht

たとえば、直観主義者は除外された中間の法則の使用を拒否し、他の数学者はそれを使用することに満足していると明確に言うことができます。また、選択の公理についての激しい議論にも注意してください。しかし、排除された中間の法則と選択の公理はどちらも、他の正確な仮定が与えられた場合、改ざん、改ざん可能、証明などを示すことができる正確記述です(他の仮定に依存します)。すなわち、私が主張しようとしていたことは、「哲学」/「感情」は、異なる一義的/正確な公理に対する選好を述べるためにのみ作用するべきだということです。As
Chill2Macht

「先祖は悪い」と言って、推論が満たすべきであると信じる数学の公理を与えず、違反するために論理的に事前を選択することを示すことができる誰かと比較して。前者は役に立たないが、後者は建設的である。なぜなら、相手に「この問題を想定するのがより合理的だ」と思われる代替公理を提案する機会を与えるからである。これが、リンク先の2番目の記事が本当に好きな理由です。なぜなら、それはまさにそれを行うからです。CIの誤った解釈を「数学化」し、それらが誤っていること証明します。
Chill2Macht
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.