（もしあれば）頻繁なアプローチがベイジアンよりも実質的に優れているのはいつですか？

背景：私はベイジアン統計の正式なトレーニングは受けていませんが（詳細については非常に興味がありますが）、多くの人がフリークエンティスト統計よりも好ましいと感じる理由の要点を理解するのに十分なことを知っています。私が教えている導入統計（社会科学）クラスの大学生でさえ、ベイジアンのアプローチが魅力的であることがわかります。「なぜnullが与えられた場合、データの確率を計算することに関心があるのでしょうか？ ？？帰無仮説または代替仮説と私も読んだ糸のようなこれらのほかベイズ統計の経験的な利点を証明する、しかし、私はブラスコによって、この引用に出くわした（2001;強調を追加します）。：

動物の飼育者が帰納に関連する哲学的問題に興味がなく、問題を解決するためのツールに興味がある場合、ベイジアンと頻繁な推論の両方の学校が確立されており、どちらの学校が好まれるのかを正当化する必要はありません。一部の複雑なケースを除き、どちらにも運用上の問題はありません... どちらの学校を選択するかは、一方の学校に他の学校が提供していない解決策があるかどうか、問題がどれだけ簡単に解決できるかに関連する必要があります、そして科学者が表現結果の特定の方法でどれほど快適に感じるか。

質問：Blascoの引用は、Frequentistのアプローチが実際にベイジアンのアプローチよりも好ましい場合があることを示唆しているようです。それで、私は好奇心が強いです：ベイジアンのアプローチよりも頻繁なアプローチがいつ望ましいか？私は、概念的に（つまり、帰無仮説に基づいたデータの確率が特に有用かどうかを知っているのはいつか）、そして経験的に（つまり、どのような条件下で頻度論的手法が優れているか、ベイジアンか）の両方の問題に取り組む回答に興味があります

また、回答ができるだけアクセスしやすいものになっている場合も望ましいでしょう-クラスに回答を返して生徒と共有するのは良いことです（ある程度の専門性が必要であることは理解していますが）。

最後に、Frequentist統計の通常のユーザーであるにもかかわらず、私は実際にBayesianが全面的に勝つ可能性にオープンです。

頻度の高いメソッドが好まれる5つの理由を次に示します。

• もっと早く。ベイジアン統計が頻繁に回答とほぼ同一の回答を与えることが多いことを考えると（そうでない場合、ベイジアンが100％明確ではない常に進むべき道であることません）、頻繁な統計がしばしば何桁も速く得られるという事実は強い議論。同様に、頻繁なメソッドは、結果を保存するためにそれほど多くのメモリを必要としません。特に小さなデータセットでは、これらのことはやや些細に思えるかもしれませんが、ベイジアンとフリークエンティストが結果に通常同意するという事実（特に多くの有益なデータがある場合）は、気にするつもりなら、重要性が低いことを気にし始める可能性があることを意味しますもの。そしてもちろん、ビッグデータの世界に住んでいるのなら、これらは決して些細なことではありません。

• ノンパラメトリック統計。ベイジアン統計にはノンパラメトリック統計があることを認識していますが、経験豊富な分布関数など、頻度の高い分野には間違いなく実用的なツールがあると主張します。世界のどの方法もEDFやカプラン・マイヤー曲線などに取って代わることはありません（明らかに、これらの方法が分析の終わりであることは言うまでもありません）。

• 少ない診断。MCMCメソッドは、ベイジアンモデルをフィッティングするための最も一般的な方法であり、通常、頻度の高いカウンターパートよりもユーザーの作業が多く必要です。通常、MLE推定値の診断は非常に単純なので、適切なアルゴリズムの実装で自動的に実行されます（ただし、利用可能なすべての実装が適切であるとは限りません...）。そのため、頻繁なアルゴリズムによる診断は通常、「モデルをフィッティングするときに赤いテキストがないことを確認する」ことです。すべての統計学者の帯域幅が限られていることを考えると、これにより、「私のデータは本当にほぼ正常ですか？」または「これらのハザードは本当に比例していますか？」など

• モデルの仕様ミスの下での有効な推論。「すべてのモデルが間違っているが、一部は有用である」と聞いたことがありますが、さまざまな研究分野がこれを多かれ少なかれ真剣に受け止めています。Frequentistの文献には、モデルが誤って指定されている場合に推論を修正する方法がたくさんあります：ブートストラップ推定器、交差検証、サンドイッチ推定器（リンクはモデルの誤仕様の下での一般的なMLE推論についても説明します）、一般化推定方程式（GEE）、準尤度法、など私が知る限り、ベイズの文献には、モデルの誤った指定の下での推論に関するものはほとんどありません（ただし、モデルチェック、つまり事後予測チェックについては多くの議論があります）。私はこれを偶然とは思いません。推定器が繰り返される試行に対してどのように動作するかを評価するには、推定器が「真の」モデルに基づいている必要はありませんが、ベイズの定理を使用することは必要です！

• 以前のものからの自由（これはおそらく、人々がすべてにベイジアン手法を使用しない理由の最も一般的な理由です）。ベイジアンの立場の強さは、多くの場合、事前分布の使用として宣伝されています。ただし、私が取り組んできたすべての応用分野では、分析における情報の事前の考え方は考慮されていません。統計的ではない専門家から事前知識を引き出す方法に関する文献を読むことは、このための正当な理由を与えます。「残酷なストローマンは自分の言い回しのようなもの」のようなことを言う論文を読みました。通常、この範囲は狭すぎるので、arbitrarily意的に少し広げてみてください。彼らの信念がガンマ分布のように見えるかどうかを尋ねます。おそらく、それらのガンマ分布を描画し、形状パラメーターが小さい場合にどのように太い尾を持つことができるかを示す必要があります。これにはPDFが何であるかを説明することも含まれます。」（注：統計学者でさえ正確に言うことができるとは思わない効果の大きさが範囲内にあるかどうかが先験的に 90％か95％であるか、そしてこの違いが分析に大きな影響を与える可能性があります！）正直言って、私は非常に不親切であり、優先順位を引き出すことがもう少し簡単かもしれない状況があるかもしれません。しかし、これがワームの缶であることがわかります。情報のない事前分布に切り替えたとしても、問題になる可能性があります。パラメータを変換するとき、情報価値のない事前確率と簡単に間違えられるものは、非常に有益であると見なすことができます！これの別の例は、私が断固としてしないいくつかの研究者と話したことです経験的に、他の専門家は自信過剰になりがちであるため、他の専門家のデータの解釈を聞きたい。むしろ、他の専門家のデータから何を推測できるかを知ってから、自分の結論に至ります。どこで聞いたのか思い出せませんが、どこかで「あなたがベイジアンなら、みんなにフリークエンティストになってほしい」というフレーズを読みました。理論的には、あなたがベイジアンであり、誰かがその分析結果を説明している場合、最初にそれらの前の影響を削除してから、自分が使用した場合の影響を把握する必要があることを意味すると解釈します。信頼できる間隔ではなく信頼間隔を与えてくれた場合、この小さな練習は簡単になります！

もちろん、有益な優先順位を放棄しても、ベイジアン分析にはまだ有用性があります。個人的には、これが彼らの最高の効用があると信じています。MLEメソッドを使用して答えを得るのは非常に難しいが、MCMCで非常に簡単に解決できる問題がいくつかあります。しかし、これがベイジアンの最高の効用であるという私の見解は、私の側の強い先入観によるものです。

頻度統計のいくつかの具体的な利点：

• ベイジアンアナログで閉形式の解を得る前に共役が必要になるのに対し、頻繁に問題を解決する閉形式の解があります。これはいくつかの理由で役立ちます-その1つは計算時間です。
• うまくいけば、最終的にはなくなる理由：素人は、頻繁な統計を教えられています。多くの人に理解されたいなら、頻繁に話す必要があります。
• 「有罪になるまで罪のない」帰無仮説有意性検定（NHST）アプローチは、誰かが間違っていることを証明する場合に役立ちます（私はあなたの権利を仮定し、圧倒的なデータがあなたが間違っていることを示唆します）。はい、ベイジアンにはNHSTアナログがありますが、頻度の高いバージョンの方がはるかに簡単でわかりやすいと思います。
• ありませんなものとして、本当に一部の人が不快になる情報価値前に。

驚くべきことにまだ言及されていない頻度の高いアプローチを使用する最も重要な理由は、エラー制御です。非常に多くの場合、研究は二分法の解釈につながります（これに基づいて研究を行うべきかどうか？介入を実施すべきかどうか？）。頻繁なアプローチにより、タイプ1のエラー率を厳密に制御できます。ベイズのアプローチはそうではありません（ただし、尤度アプローチから普遍的な限界を継承するものもありますが、それでも小さなサンプルで比較的低い証拠のしきい値（たとえば、BF> 3）でエラー率が非常に高くなる場合があります。ベイズ因子（例：http://papers.ssrn.com/sol3/papers.cfm?abstract_id=2604513を参照））しかし、それはまだ頻繁なアプローチです。私は非常に頻繁に、研究者はエビデンス自体の定量化よりもエラー制御を重視します（特定の仮説と比較して）。少なくとも、誰もがエラー制御をある程度気にするので、2つのアプローチを使用する必要があります補足的に。

統計学者として、あなたが自問しなければならない最大の質問の1つは、尤度の原則を信じているか、それを守りたいかどうかだと思います。尤度の原理を信じていないなら、私は統計学への頻繁なパラダイムは非常に強力であると思うが、尤度の原理を信じているなら、（間違いなく）あなたは最も確かにベイジアンのパラダイムを支持しなければならないそれに違反しないように。

---

あなたがそれに慣れていない場合、尤度の原則が私たちに言うことは次のとおりです。

$\theta$$\mathbf{x}$

$$\ell(\theta;\mathbf{x})=p(\mathbf{x}|\theta)$$ $\mathbf{x}$

$\mathbf{x}$$\mathbf{y}$$\ell(\theta;\mathbf{x})$$\ell(\theta;\mathbf{y})$$C(\mathbf{x},\mathbf{y})$

$$\ell(\theta;\mathbf{x})=C(\mathbf{x},\mathbf{y})\ell(\theta;\mathbf{y})\hspace{.1in}\text{for all }\theta,$$

$\mathbf{x}$$\mathbf{y}$

$C(\mathbf{x},\mathbf{y})$$(\mathbf{x},\mathbf{y})$$C(\mathbf{x},\mathbf{y})$$\theta$

$C(\mathbf{x},\mathbf{y})=1$$\theta$$\theta$

---

今、ベイジアン統計の利点の1つは、適切な事前分布の下では、ベイジアンパラダイムが尤度原理に決して違反しないことです。ただし、頻繁なパラダイムが尤度の原則に違反する非常に単純なシナリオがあります。

仮説検定に基づいた非常に簡単な例を次に示します。以下を考慮してください。

12のベルヌーイ試行が実行され、3つの成功が観察された実験を考えてください。停止ルールに応じて、データを次のように特徴付けることができます。

• $X|\theta\sim\text{Bin}(n=12,\theta)$$x=3$
• $Y|\theta\sim\text{NegBin}(k=3,\theta)$$y=12$

したがって、次の尤度関数を取得します。 これは、 したがって、尤度の原理により、どちらの尤度からもについて同じ推論を得る必要があります。

$$\begin{align} \ell_1(\theta;x=3)&=\binom{12}{3}\theta^3(1-\theta)^9\\ \ell_2(\theta;y=12)&=\binom{11}{2}\theta^3(1-\theta)^9\\ \end{align}$$ $$\ell_1(\theta;x)=C(x,y)\ell_2(\theta,y)$$ $\theta$

ここで、頻度パラダイム

$$H_o:\theta\geq\frac{1}{2}\hspace{.2in}\text{versus}\hspace{.2in}H_a:\theta<\frac{1}{2}$$

二項モデルの場合、次のようになります。

$$\begin{align} \text{p-value}&=P\left(X\leq 3|\theta=\frac{1}{2}\right)\\ &=\binom{12}{0}\left(\frac{1}{2}\right)^{12}+\binom{12}{1} \left(\frac{1}{2}\right)^{12}+ \binom{12}{2}\left(\frac{1}{2}\right)^{12}+\binom{12}{3}\left(\frac{1}{2}\right)^{12}=0.0723 \end{align}$$

ことに注意してくださいが、他の用語が行います尤度原理を満たさない。$\binom{12}{3}\left(\frac{1}{2}\right)^{12}=\ell_1(\frac{1}{2};x=3)$

負の二項モデルの場合、次のようになります。

$$\begin{align} \text{p-value}&=P\left(Y\geq 12|\theta\frac{1}{2}\right)\\ &=\binom{11}{2}\left(\frac{1}{2}\right)^{12}+\binom{12}{2}\left(\frac{1}{2}\right)^{12}+ \binom{13}{2}\left(\frac{1}{2}\right)^{12}+...=0.0375 \end{align}$$

上記のp値の計算から、二項モデルではを拒否できませんが、負の二項モデルを使用するとが拒否されることがます。したがって、たとえにp値があり、これらのp値に基づく決定は一致しません。このp値の引数は、ベイジアンが頻繁に使用するp値の使用に反対する引数です。$H_o$$H_o$$\ell_1(\theta;x)\propto\ell_2(\theta;y)$

次の仮説をもう一度テストすることを検討してください。ただし、ベイジアンパラダイム

$$H_o:\theta\geq\frac{1}{2}\hspace{.2in}\text{versus}\hspace{.2in}H_a:\theta<\frac{1}{2}$$

二項モデルの場合、次のようになります。

$$\begin{align} P\left(\theta\geq\frac{1}{2}|x\right)=\int_{1/2}^1\pi(\theta|x)dx=\int_{1/2}^1\theta^3(1-\theta)^9\pi(\theta)d\theta \bigg/\int_{0}^1\theta^3(1-\theta)^9\pi(\theta)d\theta \end{align}$$

同様に、負の二項モデルの場合、次のようになります。

$$\begin{align} P\left(\theta\geq\frac{1}{2}|y\right)=\int_{1/2}^1\pi(\theta|x)dx=\int_{1/2}^1\theta^3(1-\theta)^9\pi(\theta)d\theta \bigg/\int_{0}^1\theta^3(1-\theta)^9\pi(\theta)d\theta \end{align}$$

今ベイジアン決定ルールを使用して、（または他のしきい値）の場合選択し、について同様に繰り返します。$H_o$$P(\theta\geq\frac{1}{2}|x)>\frac{1}{2}$$y$

ただし、であるため、同じ結論、したがってこのアプローチは、尤度原理を満たします。$P\left(\theta\geq\frac{1}{2}|x\right)=P\left(\theta\geq\frac{1}{2}|y\right)$

---

ですから、私のとりとめを締めくくるために、もしあなたが尤度の原則を気にしないのであれば、頻度主義者であることは素晴らしいことです！（わからない場合、私はベイジアンです:)）

あなたと私は両方とも科学者であり、科学者として、主に証拠の質問に興味があります。そのため、可能であれば、ベイジアンアプローチが好ましいと思います。

ベイジアンのアプローチは私たちの質問に答えます：ある仮説が別の仮説を上回る証拠の強さは何ですか？一方、フリークエンティストのアプローチはそうではありません。1つの仮説が与えられた場合、データが奇妙であるかどうかのみを報告します。

とはいえ、著名なベイジアンのAndrew Gelmanは、モデル仕様のエラーのチェックとしてp値（またはp値のようなグラフィカルチェック）の使用を支持しているようです。このブログ投稿で、このアプローチの暗示を見ることができます。

私が理解しているように、彼のアプローチは2段階のプロセスのようなものです。最初に、彼はベイジアンに、あるモデルが他のモデルよりも優れている証拠について質問します。第二に、彼は、優先モデルがデータが与えられたすべてのもっともらしいものを実際に見るかどうかという質問に頻繁に質問します。私には合理的なハイブリッドアプローチのようです。

個人的には、ベイジアンの回答よりも頻繁な回答の方が好まれる状況を考えるのに苦労しています。私の考えは、p値と帰無仮説検定に関する問題について、こことfharrell.comの他のブログ記事で詳しく説明されています。頻度の高い人は、いくつかの基本的な問題を無視する傾向があります。以下にサンプルを示します。

• 一定の分散といくつかの他のケースを持つガウス線形モデルの外側では、計算されるp値はデータセットとモデルの精度が不明です
• 実験が連続的または適応的である場合、p値を計算することさえできず、達成するために全体のレベルしか設定できない場合がよくあります$\alpha$
• フリークエンシーは、サンプルサイズが大きくなっても、タイプIのエラーを0.05未満にしないことを喜んでいます。
• 多重度補正がどのように形成されるかについての頻繁な処方箋はなく、メソッドのアドホックな寄せ集めにつながります

最初の点に関して、一般的に使用されるモデルの1つはバイナリロジスティックモデルです。その対数尤度は非常に2次的ではなく、そのようなモデルに対して計算される信頼限界とp値の大部分はあまり正確ではありません。正確な推論を提供するベイジアンロジスティックモデルとは対照的です。

他の人は、頻繁な推論を使用する理由としてエラー制御に言及しています。私はので、これは、論理的であるとは思わないエラー彼らが参照するが、統計的検定の何千人もが実行されるプロセスを想定し、長期的なエラーです。「私の法廷での長期的な誤った有罪判決の確率はわずか0.03である」と言った裁判官は却下されるべきです。彼女は現在の被告に対して正しい決定をする可能性が最も高いと告発されています。一方、効果の事後確率から1を引いたものは、ゼロまたは逆効果の確率であり、実際に必要なエラー確率です。

多くの人は、3番目の哲学的学校である尤度主義に気付いていないようです。AWF Edwardsの本「Likelihood」は、おそらくこの本を読むのに最適な場所です。ここに彼が書いた短い記事があります。
尤度は、ベイジアン主義のようにp値を避けますが、ベイジアンのしばしば疑わしい事前確率も避けます。ここにもイントロトリートメントがあります。

TrynnaDoStatsが最初のポイントで指摘しているように、モデル構築への頻繁なアプローチの最大の欠点の 1つは、大きな閉じた形式のソリューションの反転に伴う課題です。クローズド形式のマトリックス反転では、マトリックス全体がRAMに常駐する必要があります。これは、大量のデータまたは大規模なカテゴリ機能を備えたシングルCPUプラットフォームの大きな制限です。ベイジアン手法は、指定された事前分布からのランダムな抽選をシミュレートすることにより、この課題を回避することができました。これは常にベイジアンソリューションの最大のセールスポイントの1つでしたが、答えはCPUのかなりのコストでしか得られませんでした。

アンドリュー・エインズリーとケン・トレイン、私が言及を失った約10年前の論文で、有限混合（頻繁な形式または閉じた形式）とモデル構築へのベイジアンのアプローチを比較し、幅広い機能的な形式にわたってパフォーマンスメトリック、2つの方法は本質的に同等の結果を提供しました。ベイジアンソリューションが優位であるか、柔軟性が高いのは、情報がまばらで非常に高次元である場合です。

ただし、その論文は、超並列プラットフォームを活用する「分割統治」アルゴリズムが開発される前に作成されました。たとえば、このhttp://dimacs.rutgers.edu/TechnicalReports/TechReports/2012/2012-の詳細については、ChenとMingeの論文を参照してください。 01.pdf

D＆Cアプローチの出現により、最も複雑で、最もスパースで、最も高次元の問題であっても、ベイジアンアプローチは、頻繁な方法よりも優位性を持たなくなりました。2つの方法は同等です。

この比較的最近の開発は、どちらの方法の実際の利点または制限についての議論でも注目に値します。

頻繁なテストは、帰無仮説の偽造に焦点を当てています。ただし、すべての場合でNHSTは単純にP（観測された効果|効果= 0）の計算であるため、帰無仮説有意性検定（NHST）もベイジアンの観点から行うことができます。そのため、NHSTを頻繁に行う必要がある時期を特定するのは困難です。

そうは言っても、頻繁なアプローチを使用してNHSTを実施するための最良の議論は、使いやすさとアクセシビリティです。人々は、頻繁な統計を教えられます。そのため、頻繁にNHSTを実行する方が簡単です。これを行うのを簡単にする統計パッケージがもっとたくさんあるからです。同様に、人々はこの形式のNHSTに精通しているため、頻繁なNHSTの結果を伝える方が簡単です。ですから、頻繁なアプローチの最良の議論として、それを実行する統計プログラムへのアクセス可能性と同僚との結果のコミュニケーションの容易さを考えています。ただし、これは文化的なものであるため、頻繁なアプローチが覇権を失うと、この議論は変わる可能性があります。

いくつかのコメント：

• ベイジアン統計とフリークエンティスト統計学の根本的な違いは、ベイジアンがフリークエンシーがそうでない状況に確率のツールを拡張することをいとわないということです。

  • より具体的には、ベイジアンは確率を使用して、さまざまなパラメーターについて、自分の心の不確実性をモデル化します。頻繁に見ると、これらのパラメーターはスカラーです（統計学者が真の値を知らないスカラーではありますが）。ベイジアンにとって、さまざまなパラメーターはランダム変数として表されます！これは非常に異なります。パラメーターvaleusに対するベイジアンの不確実性は、事前分布で表されます。

• ベイジアン統計では、データを観察した後、事後確率が事前確率を圧倒し、事前確率は重要ではないという希望があります。しかし、これはしばしばそうではありません：結果は事前の選択に敏感かもしれません！異なる事前分布を持つ異なるベイジアンは、事後的に同意する必要はありません。

留意すべき重要な点は、頻繁な統計学者の声明は、以前の信念に関係なく、2人のベイジアンが同意できる声明であるということです！

頻度論者は前者や事後についてコメントするのではなく、単に可能性についてコメントするだけです。

ある意味での頻繁な統計学者の声明は野心的ではありませんが、ベイジアンのより大胆な声明は事前確率の割り当てに大きく依存できます。事前事項が重要であり、事前事項に意見の相違がある状況では、より限定的な頻度の高い統計の条件付きステートメントがより強固な根拠に立つ可能性があります。

多くの研究の目標は、最終的な結論に到達することではなく、コミュニティの質問の感覚を一方向に段階的に押し進めるためのもう少しの証拠を得ることです。

ベイジアン統計は、利用可能な証拠に照らして決定または結論を評価する必要がある場合に不可欠です。品質管理は、ベイジアン統計なしでは不可能です。いくつかのデータを取得して、それに基づいて行動する必要のある手順（ロボット工学、機械学習、ビジネス上の意思決定）は、ベイジアン統計の恩恵を受けます。

しかし、多くの研究者はそうしていません。彼らは本当にそれはだかどうかについてはあまり気にせず、「データポイントをこのように」と言って、その後いくつかのデータを収集し、いくつかの実験を実行されており、最高の与えられた結論すべての証拠を他の人がこれまでに集まりました。科学は時間のかかるプロセスであり、「このモデルが正しい確率は72％です！」多くの場合、時期尚早または不要です。

頻度の高い統計は、ベイジアン統計の更新ステップと数学的に同じであることが多いため、これは単純な数学的な方法でも適切です。言い換えれば、ベイジアン統計は（前モデル、エビデンス）→新しいモデルですが、頻度主義統計は単なるエビデンスであり、他の2つの部分を埋めるために他の人に残します。

ベイジアン手法の実際の実行は、頻度主義者の実行よりも技術的です。「より技術的な」とは、1）事前値の選択、2）BUGS / JAGS / STANでのモデルのプログラミング、3）サンプリングと収束の検討などを意味します。

明らかに、ベイジアンの定義により、＃1はほとんどオプションではありません。いくつかの問題と手順がありますが、合理的なデフォルトが存在する可能性があり、ユーザーから問題をいくらか隠しています。（これも問題を引き起こす可能性があります！）

＃2が問題かどうかは、使用するソフトウェアによって異なります。ベイジアン統計は、頻度の高い統計手法よりも一般的な解決策に傾いており、BUGS、JAGS、STANなどのツールはこれを自然に表現しています。ただし、さまざまなソフトウェアパッケージには、典型的な頻繁な手順のように動作するように見えるベイジアン関数があるため、これは常に問題とは限りません。（そして、最近のRパッケージのようなソリューションrstanarmとbrms、このギャップを埋めるされている。）それでも、これらのツールを使用すると、新しい言語でのプログラミングに非常によく似ています。

実際のベイジアンアプリケーションの大部分はMCMCサンプリングを使用するため、項目＃3が通常適用されます。（一方で、頻繁なMLEベースの手順は、ローカルミニマムに収束するか、まったく収束しない可能性がある最適化を使用しますが、これをチェックする必要があるユーザーがいるかどうかは疑問です。）

コメントで述べたように、事前からの自由が実際に科学的利益であるかどうかはわかりません。確かにいくつかの点で、また出版プロセスのいくつかの点で便利ですが、実際にそれがより良い科学に役立つかどうかはわかりません。（そして、全体像として、私たちは科学者としての自分の事前知識を認識しなければなりません。さもなければ、どの統計的手法を使用するかに関係なく、調査のあらゆる種類のバイアスに苦しむことになります。）

概念的には：わかりません。ベイジアン統計は最も論理的な考え方だと思いますが、その理由を正当化することはできません。

フリークエンシーの利点は、ほとんどの初級レベルの人にとって簡単だということです。しかし、私にとっては奇妙でした。信頼区間が何であるかを知的に明確にできるようになるまでには何年もかかりました。しかし、私が実際的な状況に直面し始めたとき、頻繁なアイデアはシンプルで関連性が高いように見えました。

経験的に

私が最近焦点を当てようとしている最も重要な質問は、実際的な効率についてです。個人的な作業時間、精度、計算速度です。

個人的な作業時間：基本的な質問については、実際にベイジアン手法を使用することはほとんどありません：基本的な頻度ツールを使用し、頭痛をもたらすベイジアン同等物よりも常にt検定を好みます。私がガールフレンドよりもチクタクトーがかなり上手かどうかを知りたいときは、カイ二乗をします:-)。実際、コンピューター科学者としての真面目な仕事であっても、問題を調査し、ランダムによる誤った結論を回避するために、頻繁な基本ツールは非常に貴重です。

精度：予測が分析よりも重要な機械学習では、ベイジアンとフリークエンティストの間に絶対的な境界はありません。MLEは頻繁なアププロカであり、単なる見積もりです。しかし、正規化されたMLE（MAP）は部分的にベイジアンのアプローチです。後部のモードを見つけ、後部の残りの部分は気にしません。正規化を使用する理由を頻繁に正当化する理由はわかりません。実際には、生のMLE推定値が過剰に適合しているため、0がより良い予測子になるため、正則化は避けられない場合があります。正則化が真のベイジアン手法であることに同意する場合、これだけで、ベイズがより少ないデータで学習できることを正当化できます。

計算速度：頻繁な手法は、ほとんどの場合、計算が速く、実装が簡単です。そして、どういうわけか正則化は、それらに少しのベイズを導入する安価な方法を提供します。ベイジアン法がまだ最適化されていないためかもしれません。たとえば、最近では一部のLDA実装が高速になっています。しかし、彼らは大変な努力を必要としました。エントロピー推定では、最初の高度な方法はベイジアン法でした。彼らは素晴らしい働きをしましたが、すぐに頻度の高いメソッドが発見され、計算時間が大幅に短縮されました... あなたがベイジアンなら、頻繁な方法をベイジアン法の近似と考えるのは不合理ではありません。

特定のフリークエンティストベースのアプローチが本質的にベイジアンを支配している問題の1つのタイプは、M-openケースでの予測の問題です。

M-openはどういう意味ですか？

M-openは、データを生成する真のモデルが、検討中のモデルのセットに表示されないことを意味します。たとえば、の真の平均が関数として2次であるのに、平均が線形関数であるモデルのみを考慮する場合、M-openの場合になります。言い換えれば、モデルのミス仕様はM-openケースになります。$y$$x$$x$

ほとんどの場合、これはベイズ分析にとって大きな問題です。私が知っているほとんどすべての理論は、正しく指定されているモデルに依存しています。もちろん、批判的な統計学者として、我々のモデルは常に誤って指定されていると考えるべきです。これは非常に問題です。私たちの理論のほとんどは、モデルが正しいことに基づいていますが、決してそうではないことを知っています。基本的に、私達はちょうど私たちのモデルがないことを願って、私たちの指を交差している、あまりにも間違いました。

Frequentistのメソッドがこれをうまく処理するのはなぜですか？

すべてではありません。たとえば、標準エラーの作成や予測間隔の構築に標準のMLEツールを使用する場合、ベイジアン法を使用するよりも良い結果は得られません。

ただし、まさにこの目的のために非常に明確に意図された特定のフリークエンティストツールが1つあります。それはクロス検証です。ここでは、新しいデータでモデルがどれだけうまく予測できるかを推定するために、モデルを近似するときにデータの一部を残し、モデルが見えないデータをどれだけうまく予測できるかを測定します。

この方法は、モデルのミス仕様とは完全に相反することに注意してください。モデルが「正しい」かどうかに関係なく、モデルが新しいデータを予測する方法を推定する方法を提供するだけです。

私はそれが、これは本当にベイズの観点から正当化するのは難しい予測モデリングへのアプローチ（前のデータを見る前に予備知識を表現することになっている、尤度関数が変化することを主張するのはそれほど難しくはないと思うものにするなど、モデル）これは、周波数主義の観点から正当化するのは非常に簡単です（繰り返しサンプリングを行うと、サンプルエラーから最良の結果が得られるモデル+正則化パラメーターを選択しました）。

これにより、予測推論の実行方法が完全に変わりました。統計学者は、クロス検証を使用して構築またはチェックされていない予測モデルを真剣に検討する（または少なくともすべきではない）とは思わない（つまり、観測は独立しており、説明しようとしないサンプリングバイアスなど）。