ベイジアンとは？

統計に興味を持つようになると、「フリークエンティスト」と「ベイジアン」の二分法がすぐに一般的になります（とにかく、ネイトシルバーの「シグナルとノイズ」を読んでいない人はいますか？）。講演と入門コースでは、視点は圧倒的に頻繁（MLE、値）ですが、ベイズの公式を賞賛し、通常は接線で事前分布の概念に触れることに専念する時間はごくわずかである傾向があります。$p$

ベイジアン統計を議論するために採用されたトーンは、その概念的基盤の尊重と、高尚な目標間の溝に関する懐疑主義のヒントと、事前分布の選択における意性、または結局は頻繁な数学の最終的な使用との間で振動します。

「もしあなたがハードコアベイジアンなら...」などの文はたくさんあります。

問題は、今日のベイジアンは誰ですか？彼らは、あなたがそこに行けば、あなたがベイジアンになることを知っているいくつかの学術機関ですか？もしそうなら、彼らは特別に求められていますか？尊敬されている統計学者や数学者だけに言及していますか？

それらは、これらの純粋な「ベイジアン」としても存在しますか？彼らはラベルを喜んで受け入れますか？それはいつもお世辞の区別ですか？彼らは、会議で特異なスライドを持ち、値と信頼区間を奪われ、パンフレットで簡単に見つけられる数学者ですか？$p$

どのくらいのニッチが「ベイジアン」であるか？私たちは少数の統計学者に言及していますか？

または、現在のベイジアン主義は機械学習アプリケーションと同一視されていますか？

...またはもっと可能性が高いのは、ベイジアン統計は統計の枝ではなく、むしろ確率計算の範囲を超えて科学哲学へと向かう認識論的運動でしょうか？この点で、すべての科学者は本質的にベイジアンになります...しかし、頻繁なテクニック（または矛盾）に不浸透性の純粋なベイジアン統計学者のようなものはありません。

私はあなたの質問を順番に取ります：

問題は、今日のベイジアンは誰ですか？

ベイジアンのデータ分析を行い、「ベイジアン」として自己識別する人。プログラマーがプログラミングを行い、「プログラマー」として自己認識する人のように。わずかな違いは、歴史的な理由で、ベイジアンはイデオロギー的な意味合いを持っているということです。なぜなら、確率の「頻度論的」解釈の支持者と確率の「ベイジアン」解釈の支持者の間の議論が白熱することが多いためです。

彼らは、あなたがそこに行けばあなたがベイジアンになることを知っているいくつかの学術機関ですか？

いいえ、統計の他の部分と同様に、良い本（そしておそらく良い先生）が必要です。

もしそうなら、彼らは特別に求められていますか？

ベイズのデータ​​分析は、統計モデリングを行う際に非常に便利なツールです。これは、かなり求められているスキルだと思います（企業が「ベイジアン」を特に探していない場合でも）。

尊敬されている統計学者や数学者だけに言及していますか？

そこで私は自分自身を呼ぶだろうと考えている多くの尊敬統計学者ですBayesiansは、しかし、それらはそうではありませんBayesians。

それらは、これらの純粋な「ベイジアン」としても存在しますか？

それは「これらの純粋なプログラマーは存在するのか」と尋ねるのに少し似ていますか？46656 Varieties of Bayesiansと呼ばれる面白い記事があり、多くの基本的な問題に関して「ベイジアン」の間で健全な議論があることを確認してください。プログラマーがさまざまなプログラミング手法のメリットについて議論できるように。（ところで、Haskellの純粋なプログラマープログラム）。

彼らはラベルを喜んで受け入れますか？

ある人はそう、そうでない人もいます。ベイジアンデータ分析を発見したとき、私はパンをスライスして以来最高だと思っており（私は今でもそうです）、自分を「ベイジアン」と呼んでうれしく思います（少なくとも私の部門のp値の人々をいらいらさせます）。今ではこの用語が好きではありませんが、ベイズのデータ​​分析をある種のカルトのように聞こえるので、人々を疎外するかもしれませんが、統計ツールボックスにある便利な方法ではありません。

それはいつもお世辞の区別ですか？

いや！私の知る限り、「ベイジアン」という用語は有名な統計学者フィッシャーによって軽term的な用語として導入されました。それ以前は、「逆確率」または単に「確率」と呼ばれていました。

彼らは、会議で特異なスライドを持ち、p値と信頼区間を奪われ、パンフレットで簡単に見つけられる数学者ですか？

さて、ベイジアン統計には会議がありますが、そこに多くのp値が含まれているとは思いません。特異なスライドを見つけることができるかどうかは、あなたの背景に依存します...

どのくらいのニッチが「ベイジアン」であるか？私たちは少数の統計学者に言及していますか？

私はまだ少数の統計学者がベイジアン統計を扱っていると思いますが、割合も増えていると思います。

または、現在のベイジアン主義は機械学習アプリケーションと同一視されていますか？

いいえ、しかし、ベイジアンモデルは機械学習で多く使用されます。これは、ベイジアン/プロビバリズムの観点から機械学習を紹介する優れた機械学習本です。http：//www.cs.ubc.ca/~murphyk/MLbook/

ほとんどの質問に答えてくれることを願っています:)

更新：

[C]ベイジアン統計を区別する特定の手法または前提のリストを追加することを検討してください。

ベイジアン統計を区別するのは、ベイジアンモデルの使用です:)ここに、ベイジアンモデルとは何かに関する私のスピンがあります：

ベイジアンモデルは、確率を使用してモデル内のすべての不確実性、つまり出力に関する不確実性と、モデルへの入力に関する不確実性（別名パラメーター）の両方を表す統計モデルです。事前/事後/ベイズの定理全体がこれに続きますが、私の意見では、すべてに確率を使用することがそれをベイジアンにします（そして実際、より良い言葉はおそらく確率モデルのようなものでしょう）。

現在、ベイジアンモデルは適合が難しい場合があり、これに使用されるさまざまな計算手法が多数あります。しかし、これらの手法はそれ自体がベイジアンではありません。いくつかの計算手法に名前を付けるには：

• マルコフ連鎖モンテカルロ
  • メトロポリス・ヘイスティングス
  • ギブスサンプリング
  • ハミルトニアンモンテカルロ
• 変分ベイズ
• 近似ベイズ計算
• 粒子フィルター
• ラプラス近似
• 等々...

「ベイジアン」という用語を軽deとして導入した有名な統計学者は誰でしたか？

おそらくロナルドフィッシャーだった。論文ベイジアン推論が「ベイジアン」になったのはいつですか？「ベイジアン」という用語の履歴を示します。

ベイジアンは、確率をある命題の妥当性の数値表現として定義する人々です。頻度論者は、確率を長期実行頻度を表すと定義する人々です。これらの定義のいずれかのみに満足している場合、あなたはベイジアンまたはフリークエンティストのどちらかです。どちらかに満足し、手元のタスクに最も適切な定義を使用する場合、あなたは統計学者です！; o）基本的に、それは確率の定義に要約されます。そして、ほとんどの働く統計学者が両方のアプローチの利点と欠点を見ることができることを望みます。

高尚な目標の間の割れ目に関する懐疑論のヒント、および事前分布の選択におけるbit意性、または結局は頻繁な数学の使用。

懐疑論はまた別の方向に向かっています。頻出主義は、確率と統計に関する既存の考えの主観性を排除するという高尚な目的で発明されました。ただし、主観性はまだ存在しますが（たとえば、仮説検定で重要度の適切なレベルを決定する際に）、明示的にされたり、無視されることがよくあります。

たとえば、コロンビア大学の統計学および政治学の教授であるAndrew Gelmanは、著名なベイジアンです。

私は疑うISBAの仲間のほとんどはおそらく同様に自分自身Bayesians検討します。

一般的に、次の研究トピックは通常、ベイジアンアプローチを反映しています。それらについての論文を読んだ場合、著者は自分自身を「ベイジアン」と表現する可能性が高い

• マルコフ連鎖モンテカルロ
• 変分ベイズ法（名前はそれを与えます）
• 粒子フィルタリング
• 確率的プログラミング

今日、私たちは全員ベイジアンですが、これらの2つのキャンプを超える世界があります：アルゴリズムの確率。この主題に関する標準的な参考資料が何なのかはわかりませんが、Kolmogorovによるアルゴリズムの複雑さに関する美しい論文があります。ANKolmogorov、「情報量」という概念の定義に対する3つのアプローチ、Probl Peredachi Inf。、1965、Volume 1、Issue 1、3–11。英語の翻訳があるはずです。

この論文では、組み合わせ、確率的、および（新しい）アルゴリズムの3つの方法で情報量を定義しています。コンビナトリアルは頻度論者に直接マッピングされ、確率論者はベイジアンに直接対応しませんが、それと互換性があります。

更新：確率の哲学に興味があるなら、私は非常に興味深い作品を指し示したいと思います。「グレン・シェーファーとウラジミール・ヴォフによる。コルモゴロフの前にすべてを忘れていた。彼の独創的な仕事の前に多くのことが起こっていた。一方、彼の哲学的見解についてはあまり知らない。例えば、彼が1930年にソビエト連邦に住んでいたという現実は、哲学に飛び込むのは非常に危険であり、文字通り、あなたは実存的なトラブルに巻き込まれる可能性がありました。現実には彼は単なる数学者ではなく、科学者であり、確率論の現実への適用可能性について複雑な見方をしていたと思います。

ランダム性に対するコルモゴロフのアルゴリズム的アプローチに関するVovkの別の論文もあります：確率の基礎に対するコルモゴロフの貢献

Vovkは、確率に対するゲーム理論的アプローチを作成しました-これも非常に興味深いものです。

更新2：これはベイジアン人、実際はワシントンDCの大学の教授です。彼は、経験、新しい観察に基づいて信念を更新する政治家を選出すべきだと主張しようとしていました。ここで、は新しい経験後の事後信念です。は事前です。彼はこれをColbert / Stuartの「Rally for Fear」参加者に説明しようとしていました。B E P （E | B $P(B|E)$$B$$E$$P(E|B)$

更新3：

コルモゴロフの元の作品で、何らかの理由で一般に知られていない（または忘れがちな）実務家に何かを指摘したかったのです。彼には、理論を現実に結びつけるセクションがありました。特に、彼は理論を使用するための2つの条件を設定しました。

• A.実験を何度も繰り返す場合、発生頻度は確率とわずかに異なるだけで、実際には確実に異なります。
• B.確率が非常に小さい場合、一度だけ実験を行うと、イベントが発生しないことが実質的に確信できます。

これらの条件にはさまざまな解釈がありますが、ほとんどの人はこれらが純粋な頻度主義者の見解ではないことに同意するでしょう。コルモゴロフはフォン・ミーゼスのアプローチにある程度従うと宣言したが、彼は物事が見かけほど単純ではないことを示しているようだ。私はよく条件Bについて考えますが、安定した結論に達することはできません。それについて考えるたびに少し異なって見えます。

私が知っている最も「ハードコア」なベイジアンは、1998年に亡くなったエドウィン・ジェーンズです。彼の生徒の間で、さらに「ハードコア」ベイジアン、特に彼の主要な作品「確率論：科学の論理、ラリー・ブレトホルスト。他の注目すべき歴史的なベイジアンには、ハロルド・ジェフリーズとレナード・サベージが含まれます。この分野の完全な概要はありませんが、私の印象は、ベイジアン手法の最近の人気は（特に機械学習における）深い哲学的信念によるものではなく、ベイジアン手法が多くの場合に有用であると証明した実用的な立場によるものですアプリケーション。この役職の典型はアンドリュー・ゲルマンだと思います。

ベイジアンが誰なのかはわかりませんが（事前に配布する必要があると思いますが）、そうではない人は知っています。

著名な、今は去ったベイジアン、DVリンドリーを引用すると、「経験的なベイジアンほどベイジアンに劣るものはいない」。ベイズ法の実証的ベイズセクション：社会・行動科学的アプローチ、ジェフ・ギルすることにより、第2版。意味「フリークエンシスト」でさえ、すべてについて完全に機械的である経験的ベイジアンとは対照的に、モデルが意味をなすものについて考えている（何らかの形でのモデル形式の選択が事前を構成している）。

実際のところ、トップのエシェロンベイジアンとフリークエンティストによって実行された統計分析の結果にはそれほど違いはないと思います。恐ろしいのは、絶対的なイデオロギーの純粋さを備えたイデオロギーの役割モデルの後に自分自身を厳格にパターン化しようとする低品質の統計学者を見たときです（女性とは決して観察しません）。ロールモデルが持っている思考と判断の質。その結果、非常に悪い分析と推奨事項が生じる場合があります。超ハードコアですが、低品質のイデオログは、フリークエンティストよりもベイジアンの間ではるかに一般的です。これは特に意思決定分析に適用されます。

この議論に誰も気づくにはおそらく遅すぎるかもしれませんが、ベイジアンとフリークエンティストのアプローチの最も重要な違いは、ベイジアンが（ほとんど）メソッドを使用しているという事実を誰も指摘していないのは残念だと思いますそれは尤度の原則を尊重しますが、頻度論者はほとんど常にそうではありません。尤度の原理では、対象の統計モデルパラメーターに関連する証拠は、関連する尤度関数に完全に含まれているとされています。

統計理論や哲学を気にする頻度の高い人は、確率の頻度と部分的信念の解釈の違いや、事前確率の望ましさについての議論よりも、尤度原理の有効性についての議論にはるかに関心を持つべきです。確率の異なる解釈が対立なしに共存し、一部の人々が他の人にそうすることを要求せずに事前を提供することを選択することは可能ですが、尤度の原則が肯定的または規範的な意味で真である場合、多くの頻度論的手法は主張を失います最適に。尤度原理に対する頻繁な攻撃は、その原理が彼らの統計的世界観を損なうため、激しいものであるが、ほとんどの場合、それらの攻撃はマークを逃している（http://arxiv.org/abs/1507.08394）。

あなたはベイジアンだと信じているかもしれませんが、おそらく間違っているでしょう... http://www.rmm-journal.de/downloads/Article_Senn.pdf

ベイジアンは、事前の信念/事前情報が与えられた場合、関心のある結果の確率分布を導き出します。ベイジアンにとって、この分布（およびその要約）は、ほとんどの人が興味を持っているものです。帰無仮説が真（ p値）または対象のパラメーターの区間推定値。95％には、繰り返しサンプリング（信頼区間）を実行できる場合に真の値が含まれます。

ベイズの事前分布は、自分の事前分布であるため、論争の的になります。事前の「正しい」ものはありません。ほとんどの実用的なベイジアンは、事前に使用できる外部証拠を探し、特定の場合に「合理的」であると予想されるものに基づいてこれを割引または変更します。たとえば、懐疑的な事前確率は、nullの場合に「塊」の可能性があります-「自分の考えを変えたり、現在の慣行を変えたりするには、データがどれだけ必要か」また、ほとんどの場合、異なる事前確率に対する推論の堅牢性も考慮します。

事前の信念によって「影響を受けない」推論を構築できるようにする「参照」事前分布を調べるベイジアンのグループがあり、そのため「頻度」特性を持つ確率的ステートメントと区間推定値を取得します。

また、モデルを選択しない（すべてのモデルが間違っている）ことを主張し、探索的分析が事前に影響を与えるため、実行すべきでないと主張するかもしれない「ハードコアベイジアン」のグループもいます。そのような急進的なものはほとんどありません...

統計のほとんどの分野には、ベイジアン分析と実務家がいます。ノンパラメトリックを好む人を見つけるように...

ベイジアン/フリークエンティストのアプローチと自分の認識論的立場との間のリンクについての最後の質問（私は賞を受賞したわけではありません！）良い出発点は、メイヨーとアンドリューゲルマン（ここではやや異端なベイジアンとして浮上している）の間の2010年のこの交換です。メイヨーは後に、ここでゲルマンとシャリジの論文に対する詳細な回答を発表しました。

すべてのベイジアンのサブセット、つまり電子メールを送信することに苦労したベイジアンがここにリストされています。

私はブルーノ・デ・フィネッティとLJサベージ・ベイジアンと呼びます。彼らはその哲学的基盤に取り組みました。

頻度主義者とベイジアンの間の基本的な議論を理解するために、ブラッドリー・エフロンよりも権威のある声を見つけることは難しいでしょう。

このトピックでは、彼が上で触れたテーマとなっている何度も彼のキャリアの中で、個人的に私は彼の古い論文役に立つの1が見つかりました：統計の基礎で論争を（この1つは解説優秀賞を受賞しました）。