私はベイズの居心地の良い世界で快適に感じる単純な心のベイズ人です。

しかし、私の手に負えない悪意のある力のために、今度はエキゾチックで奇妙な頻出統計の世界について、入門的な大学院コースを行わなければなりません。これらの概念のいくつかは私には非常に奇妙に思えます、そして私の教師はベイズに精通していないので、私は両方を理解している人からインターネットでいくつかの助けを得ると思いました。

頻度主義が奇妙で不快であると思うベイジアンに、頻度主義統計のさまざまな概念をどのように説明しますか？

たとえば、私がすでに理解しているいくつかのこと：

• 最尤推定量、最大事後推定に等しい、場合はフラットです。ARGMAX $\text{argmax}_\theta \;p(D|\theta)$p （θ $\text{argmax}_\theta \;p(\theta |D)$$p(\theta)$
• （これについては完全にはわかりません）。特定の推定量がパラメーターに対して十分な統計量であり、がフラットな場合、、つまり、サンプリング分布は尤度関数に等しいため、フラットな事前分布を与えられたパラメーターの事後に等しくなります。 θP（θ）P（ θ |θ）=C1⋅P（D|θ）=C1⋅C2⋅P（θ|D$\hat \theta$$\theta$$p(\theta)$$p(\hat \theta|\theta)=c_1\cdot p(D|\theta)=c_1\cdot c_2\cdot p(\theta|D)$

これらは、ベイジアンの概念を理解している人に頻出主義の概念を説明する例です。

ベイジアンが理解できる用語で、頻度論統計の他の中心的な概念を同様にどのように説明しますか？

具体的には、次の質問に興味があります。

• 平均二乗誤差の役割は何ですか？ベイジアン損失関数とどのように関連していますか？
• 「偏りがない」という基準は、ベイズの基準とどのように関連していますか？私は、ベイジアンがその推定量が公平であることを要求しないであろうことを知っているが、同時に、ベイズはおそらく、公平なことを同意するだろうfrequentist推定器は、一般的に偏っよりも望ましいfrequentist彼は両方が劣るためであると考えるでしょうにもかかわらず、（1ベイジアン推定量）。では、ベイジアンはどのようにして公平さを理解するのでしょうか？
• フラットな事前分布がある場合、頻度主義の信頼区間はベイズの信頼区間と何らかの形で一致しますか？
• テストのような仕様テストでラプラスの名の下に何が起こっていますか？これは、モデル空間の分布に関するベイジアン更新のいくつかの退化した特別なケースですか？$F$

より一般的には：

ベイジアンに頻出を説明するリソースはありますか？ほとんどの本は逆に走っています：彼らはベイジアン主義を頻出統計学で経験された人々に説明しています。

ps。私は見てきましたが、ベイジアンとフリークエンシーの違いについてはすでに多くの質問がありますが、ベイジアンの観点からフリークエンシーを明確に説明しているものはありません。

この質問は関連していますが、ベイジアンに頻度論の概念を説明することについては特にではありません（頻度論的思考を正当化することについての一般的な説明については）。

また、私の論点は、頻出を非難することではありません。本当によく理解したい

実際、あなたが言及したことの多くは、すでに主要なベイジアンハンドブックで議論されています。多くの場合、これらのハンドブックは訓練によって常習者向けに書かれているため、多くの類似点について話し合い、常習者の方法をベイジアンの根拠に変換しようとします。1つの例は、John K. KruschkeによるDoing Bayesian Data Analysisの本、またはをベイジアングラウンドに変換した彼の論文です。もう1人の心理学者、Eric-Jan Wagenmakersが彼のチームと一緒に、頻出主義の概念をベイジアングラウンドに変換することについて多くのことを話しました。損失関数、アンビアスネスなどの決定論的概念は、Christian P. RobertによるThe Bayesian Choiceの本で議論されています。$t$

さらに、あなたが言及したいくつかの概念は、実際にはベイジアンではありません。たとえば、損失関数は一般的な概念であり、それを以前の分布と組み合わせる場合にのみベイズリスクが発生します。

自己宣言したベイジアンである場合でも、おそらくすでに多くの頻度主義的手法を使用していることにも言及する価値があります。たとえば、MCMCを推定に使用し、MCMCチェーンの平均をポイント推定として計算する場合、ベイジアンモデルと事前分布を使用していないため、MCMCの平均の推定を取得しているため、頻出推定量を使用しています。鎖。

最後に、頻繁に使用される概念やツールの中には、ベイジアン設定に簡単に変換できないものや、提案された「同等のもの」は概念の証明であり、実際に使用するものです。多くの場合、アプローチは単純に異なり、類似点を探すことは時間の無駄です。

（これについては完全にはわかりません）。特定の推定量がパラメーターに対して十分な統計量であり、がフラットである場合、、つまり、サンプリング分布は尤度関数に等しいため、フラットな事前分布が与えられた場合、パラメーターの事後分布に等しくなります。 θP（θ）P（ θ |θ）=P（D|θ）=C⋅P（θ|D$\hat θ̂$$θ$$p(θ)$$p(\hat θ̂ |θ)=p(D|θ)=c⋅p(θ|D)$

これは間違っています：

1. $p(D|θ)=p(\hat θ̂ |θ)\times p(D|\hat θ)$十分統計量であります$\hat θ$
2. D $p(D|θ)=c⋅p(θ|D)$は、関数と見なされる場合、および関数と見なされる場合はfalseになります（フラットな事前使用しない場合）。$D$$θ$
3. のみに基づいて事後んに基づく事後等しくこの文脈では。$\hat θ$$D$

さらに、十分性のベイジアン概念が具体的に存在していても、十分性はベイジアン主義との頻度関係とは何の関係もありません。モデル比較の例として。

ベイジアンはおそらく、偏りのない頻度主義の推定者が偏った頻度主義の推定者よりも一般的に望ましいということに同意するでしょう

質問のこの部分の問題は、ベイジアン推定量が、許容性やミニマキシティなどの頻出特性を満たしているという点でも、頻出推定量であることです。最近のCVエントリで説明されているように、2乗誤差損失のもとでのベイズ推定は偏りがありません。そして、特別な損失関数を使用して不偏性を支持する以外に理由はありません。事後損失を最小限に抑えることはすべての包括的であり、不偏性を課すことでより高い損失が生じる場合、それは考慮されるべきではありません。（最後のポイントは、公平な推定量を可能にするパラメーターの関数がほとんどないことです。）

まるで、常連客やベイジアンの世界を検討しているように見えます。それはあまり微妙ではありません。あなたがどちらかである必要がある場合、または適用される方法が（便利さと手元にある特定の問題と情報ではなく）個人的な信念によって決定されるかのように。これは、自分を頻出主義者またはベイジアンと呼ぶ現在の傾向に基づく誤解であると私は信じています。統計学者のグループにp値または信頼区間を説明してもらいます。

いくつかの古典的な作品は、頻度論的推論を理解するのに役立ちます。古典作品は基本的な原則を含み、支持者間の議論の熱さに近く、そのときの（実用的な）動機と関連性の背景を提供します。

また、頻度主義的手法に関するこれらの古典的な作品は、人々が主にベイズの原理と確率の数学的計算で働いていたときに書かれました（統計は常に、確率のある典型的な数学問題に取り組んでいるようではないので、確率は非常に不明確です）。

頻出確率は逆確率ではない

「逆確率」フィッシャー1930

事前確率がフラットなベイジアン式である可能性を考えます

しかしながら、

1. 数学は一致していますが（誤って解釈すると、P（x | a）= P（a | x）になる可能性があるため、定数までですが、同じ用語ではありません）構成と意味が異なります。

2. 尤度は、「フラットな、または均一な事前分布に基づくベイジアン確率」を意味するものではありません。尤度は確率ではなく、確率分布のルールに従っていない（たとえば、異なるイベントの尤度を合計できず、積分が1に等しくない）。これは、事前にフラットで乗算した場合のみであり、それは確率になるが、その意味も変わった。

1930フィッシャーの「逆確率」からの興味深い引用。

ベイズ法と頻出法は異なるツールです。

...異なるケースに適した合理的な信念の2つの異なる測定値があります。母集団を知ることで、サンプルについての不完全な知識または期待を確率の観点から表現できます。サンプルを知ることで、可能性の観点から母集団に関する不完全な知識を表現できます。未知の相関が+ 0.6である相対尤度を述べることはできますが、それが.595〜.605の範囲にある確率は述べられません。

頻度主義の方法が提供する特定の確率ステートメントがあることに注意してください。

対応する値のテーブルを構築することにより、我々はTは、パーセント基準5であるものの値が計算されるとすぐに知っているかもしれ、との真の価値という少ないパーセントわずか5でこの値よりなり、裁判の。これは、未知のパラメーターに関する明確な確率ステートメントであり、アプリオリ分布に関する仮定に関係なく真です。θ θ$\theta$$\theta$$\theta$

• 頻度論的方法は、実験（ランダムな間隔で）が統計によって与えられた間隔内の（おそらくランダムな）パラメーターの真の値を持つ確率についてのステートメントを作成します。
• これは、特定の実験（固定間隔）が、統計によって与えられた間隔内の（固定）パラメータの真の値を持つ確率と混同しないでください。

「小さなサンプルから推定された相関係数の「推定誤差」について」も参照してください。フィッシャーがベイズ逆確率ではない彼の方法の違いを示したフィッシャー1921。

前者の論文では、以前に開発された方法を適用することにより、母集団の相関の<<最も可能性が高い>>値が、数値的にはサンプルの相関よりもわずかに小さいことがわかりました。この結論は、バイオメトリカにおいて、私がベイズの定理からそれを推定したという誤った仮定に基づいて、逆に批判されました。この論文では、サンプリング曲線がほぼ正常にレンダリングされている場合、私が提案した補正は、母集団値とサンプリング曲線の中間点との間の距離に等しく、したがって、計算方法によって導入される一定のバイアス。事前確率に関する仮定は含まれていません。

そして

... 2つの根本的に異なる概念は、<<確率>>という名前で混乱しています。

それが確率と可能性です。1921年のフィッシャーズの記事の最後にあるメモも参照してください。彼は混乱についてさらに語っています。

再度、尤度はパラメータのセットの関数ですが、パラメータのセットの確率密度関数ではないことに注意してください。

確率は、観察できるものに使用されます。たとえば、サイコロが6を振る確率。尤度は、観察できないもの、たとえば、サイコロが6分の1の時間を振るという仮説に使用されます。

また、ベイズの定理に関する彼の意見がはるかに軽いフィッシャーの作品が好きかもしれません（まだ違いを説明しています）。「理論統計学の数学的基礎について」フィッシャー1922（特にセクション6「推定の問題の形式的解決」）

もっと

逆確率と尤度の原則の違いに関するフィッシャーのコメントを理解して評価できる場合は、頻度主義的手法の違いについてさらに読むことをお勧めします。

「古典的確率論に基づく統計的推定理論の概要」ネイマン1937

これは50ページの作品であり、要約するのは困難です。しかし、それは偏りのない偏りについてのあなたの質問を扱い、最小二乗法（および最尤法との違い）を説明し、特に信頼区間の扱いを提供します（頻出区間はすでに類似しておらず、ユニークではありません。フラット事前分布のベイジアン間隔と同じです）。

F検定に関しては明確ではありませんが、ラプラスの名の下で何が間違っていると思いますか。初期の使用が好きな場合は、「作物変動の研究」をご覧ください。II。異なるジャガイモ品種の1923年のフィッシャーとマッケンジーの排尿反応

この論文は、平方和をグループ間およびグループ内に細分する認識可能な線形モデルでのanovaの表現です。

（1923年の記事のテストでは、テストは、サンプル標準偏差のログ間の差と、自由度の合計によって決定されるこの差の計算された標準誤差との比較で構成されています。その後の作業により、このより洗練された表現がF分布につながり、F分布に関する考えが拡散される可能性があります。しかし、本質的には、より正確な分布による技術的なジャグリングなしに少数の場合、その起源はz検定によく似ています）。$\frac{1}{2d_1} + \frac{1}{2d_2}$