なぜ、最尤推定frequentist技術と考えられています

私にとって頻繁な統計は、可能なすべてのサンプルに適した決定を下そうとすることと同義です。すなわち、frequentist決定規則常に損失関数に依存frequentistリスク最小化するようにしてくださいと自然の真の状態： $\delta$ $L$ $\theta_0$

R_{f r e q} = E_{θ_{0}} (L (θ_{0}, δ (Y))

$R_\mathrm{freq}=\mathbb{E}_{\theta_0}(L(\theta_0,\delta(Y))$

最尤推定は、頻繁なリスクにどのように関連していますか？頻繁に使用されるポイント推定手法であるため、何らかの接続が必要です。私が知る限り、最尤推定は頻度主義的リスクの概念よりも古いですが、それでも他の多くの人々がそれが頻度主義的手法であると主張する理由がいくつかあるはずです。

私が見つけた最も近い接続は

「弱い規則性条件を満たすパラメトリックモデルの場合、最尤推定量はほぼミニマックスです」Wassermann 2006、p。201 "

受け入れられた回答は、最尤点推定を頻度論的リスクに強くリンクするか、MLEが頻度論的推論手法であることを示す頻度論的推論の代替の正式な定義を提供します。

maximum-likelihood frequentist

— ジュリアン・カールス
ソース

MLはリスクにまったく注意を払いません！実際、それは、MLの頻繁な決定論的批判の一部です。この質問は暗黙のうちに「フリークエンティスト」を2つの互換性のない意味で使用しているため、答えが難しいのではないかと思われます。

— whuber

@whuber MLはリスクに注意を払います。実際、それは不適切な一様事前分布の下での対数損失の下での最小化です。

— カグダスオズゲンク

@Cagdasこれは通常、意思決定者にとってのリスクではありません。対数的損失が彼らにとって重要なリスクである場合、リスクを最小化するかのようにML を示すだけです。 ちなみに、「不適切な制服の事前」へのアピールは明らかに非頻度です。

— whuber

@whuberベイジアン推定手順でも累積ログ損失が使用されます。その後のみ、意思決定者のリスクが適用されます。意思決定者のリスクを直接最適化することについて話している場合（ログ損失の飛び石を介さず）、その点で頻度の高い手順、つまりOLSがより有名です。

— カグダスオズゲンク

回答:

頻度とMLEの比較的狭い定義を適用します-もう少し寛大で、定義する場合

頻度：一貫性の目標、（漸近的）最適性、不偏性、および真のパラメーターに依存しない繰り返しサンプリング下でのエラー率の制御
MLE =ポイント推定+信頼区間（CI）

MLEがすべての周波数主義の理想を満たしていることは明らかです。特に、p値としてのMLEのCIは、繰り返しサンプリングでエラー率を制御し、多くの人が考えるように、真のパラメーター値の95％の確率領域を与えません。

これらのアイデアのすべてがフィッシャーの1922年の基礎論文「理論統計の数学的基礎について」にすでに存在しているわけではありませんが、最適性と不偏性のアイデアはあり、後者は固定エラー率でCIを構築するというアイデアを追加しました。エフロン、2013年、「250年の議論：信念、行動、およびブートストラップ」は、ベイジアン/フリークエンティスト論争の彼の非常に読みやすい歴史に要約しています：

1900年代初頭には、常連客の大勢が実際に転がりました。ロナルド・フィッシャーは、最適な推定の最尤理論を開発し、推定の可能な限り最高の動作を示しました。また、Jerzy Neymanは、信頼区間と検定についても同じことを行いました。フィッシャーとネイマンの手順は、20世紀の科学の科学的ニーズと計算の限界にほぼ完璧に適合し、ベイジアン主義を影の存在に変えました。

あなたのより狭い定義に関して-私は、頻度論的リスク（FR）の最小化が方法が頻度論的哲学に従うかどうかを決定する主要な基準であるというあなたの前提に少し同意しません。FRを最小化することが望ましい特性であるという事実は、FRに先行するのではなく、頻繁な哲学に基づいています。したがって、決定ルール/推定器はFRを最小化して頻度を増やす必要はなく、FRを最小化することは必ずしもメソッドが頻度主義であると言うわけではありませんが、頻度論者はFRの最小化を好むでしょう。

MLEを具体的に見ると、FisherはMLEが漸近的に最適である（FRを最小化することにほぼ等しい）ことを示し、それがMLEを促進する理由の1つであることは確かです。しかし、彼は有限のサンプルサイズに対して最適性が成り立たないことを認識していました。それでも、彼は一貫性、漸近正規性、パラメータ変換の下での不変性など、他の望ましい特性のため、この推定量に満足していました。特に不変性は1922年の論文で豊富に強調されています-私の読書から、パラメータ変換の下で不変性を維持し、一般的に事前を取り除く能力は、MLEを選択する主な動機の1つでした。彼の推論をよりよく理解したいなら、1922年の論文を本当にお勧めします。

— フロリアン・ハーティグ
ソース

最尤点推定はCIと組み合わせて、または仮説検定（尤度比検定など）の一部として最も頻繁に使用されるため、頻度の高い手法であるという答えを要約できますか？この場合、私は、これはしかし、有効な回答ではなく、私が望んでいたことが1だと思います。私は、最尤推定はfrequentist点推定手法と考えることができる理由仮引数を目指しました。これはfrequentist推論の別の正式な定義を必要とする場合、これはあまりにも結構です。

— ジュリアンカールズ

私は一般に、MLEをネイマンのCIと一緒にフィッシャーのポイント推定値を含むフレームワークと考えています-これがクラスで教えられている方法であり、上記の議論のため、私はそれが骨に頻繁にあると主張します。MLEだけが頻繁に使用される推定量である場合、それがどのように、そしてなぜ使用されるのかという文脈なしに議論することは、どれほど意味があるのだろうか。フィッシャーの理由が欲しいなら、私は本当に1922年の論文をお勧めします-この言葉は当時存在しませんでしたが、彼が述べている理由は頻繁です。その点でコメントを延長しました。

— フロリアンハーティグ

基本的に、2つの理由から：

最尤法は、モデルパラメーターの点ごとの推定値です。ベイジアンは事後分布が好きです。
最尤法では事前分布がないと仮定し、ベイジアンは事前分布を必要とします。これは情報提供にも情報提供にもなりますが、存在する必要があります

— ウリ・ゴレン
ソース

+1この回答では、「頻度主義者」と「非ベイジアン」を暗黙的に同一視しているように見えることを指摘したいと思います。「We Bayesian」の言葉は、「Bayesian」が何らかの技術や解釈ではなく、ある種の個人的な特徴や部族のメンバーシップを指していることを示唆しています。

— whuber

一方、MLEはベイジアン手法として簡単に導出できます。これは、均一な事前分布を使用した統計モデルのMAP推定です。

— ジュリアンカールズ

MAPまた、ポイントごとの推定であり、「真Bayesians」で眉をひそめている

— ウリGoren