OLSよりも望ましいMLEの特性は何ですか？

この質問は、どこかでここで回答されたと確信できるほど根本的なようですが、私はそれを見つけていません。

回帰の従属変数が正規分布している場合、最大尤度と通常の最小二乗が同じパラメーター推定を生成することを理解しています。

従属変数が正規分布していない場合、OLSパラメーター推定はMLEと同等ではなくなりますが、それらは依然として最良（最小分散）線形不偏推定（青）です。

それでは、OLSが提供するもの（BLUEであること）を超えてMLEを望ましいものにする特性は何ですか？

言い換えると、OLS推定が最尤推定であると言えない場合、何を失うのですか？

この質問をやる気にさせるために、明らかに非正規の従属変数が存在する場合に、なぜOLS以外の回帰モデルを選択するのか疑問に思っています。

正規性から十分に離れると、すべての線形推定量が任意に悪くなる可能性があります。

悪いロットを最大限に活用できる（つまり、最良の線形不偏推定）ことができることを知ることは、それほど慰めにはなりません。

適切な分布モデルを指定できる場合（つまり、摩擦があります）、可能性を最大化することは両方とも、直感的に直接アピールすることになります。つまり、実際に見たサンプルを（「適切な改良を加えて）つまり、連続的なケースの場合）と、理論的にも実用的にも役立つ多数の非常にきちんとした特性（たとえば、Cramer-Raoの下限との関係、変換時の等分散、尤度比検定との関係など）。これは、たとえばM推定の動機になります。

モデルを指定できない場合でも、MLが応答の条件付き分布の全体的なエラーによる汚染に強いモデルを構築することができます。これにより、ガウシアンでの効率はかなり良好ですが、悲惨な可能性が回避されます。任意の大きな外れ値の影響。

[たとえば、影響力のある外れ値の影響に対するロバスト性も必要なので、これは回帰に関する唯一の考慮事項ではありませんが、これは良い最初のステップです]

最良の線形推定量を使用した場合の問題のデモンストレーションとして、回帰用の勾配推定量のこの比較を検討してください。この場合、各サンプルには100個の観測値があり、xは0/1、真の勾配は、誤差は標準コーシーです。シミュレーションは1000セットのシミュレーションデータを受け取り、勾配の最小二乗推定（ "LS"）と、この状況で使用できるいくつかの非線形推定量を計算します（コーシーではどちらも完全に効率的ではありませんが、どちらも妥当です）-1つはラインのL1推定量（ "L1"）で、2つ目はxの2つの値での位置の単純なL推定値を計算し、それらを結ぶラインに適合します（ "LE"）。$\frac12$

図の上部は、各シミュレーションの1000の勾配の推定値の箱ひげ図です。下の部分は、その画像の中央にある1パーセント（おおまかに、上のプロットではかすかなオレンジグレーのボックスでマークされています）なので、詳細を確認できます。最小二乗法の傾きは-771から1224の範囲であり、下限と上限の四分位数は-1.24と2.46です。LS勾配の誤差は、10％以上の時間でした。2つの非線形推定器ははるかに優れています-互いにほぼ同じように実行されます。どちらの場合も、1000の勾配推定値のいずれも、真の勾配から0.84を超えておらず、勾配の絶対誤差の中央値は、それぞれ0.14のボールパークにあります（vs 1.86最小二乗推定量の場合）。この場合のLSスロープのRMSEは、L1およびLE推定量の223および232倍です（それは

ここで使用された可能性のある他の数十の合理的な推定量があります。これは、最良/最も効率的な線形推定量でさえ役に立たない場合があることを示すための簡単な計算でした。勾配のML推定器は、ここで使用される2つのロバスト推定器よりも（MSEの意味で）パフォーマンスが良くなりますが、実際には、影響力のある点に対してある程度のロバスト性を持つものが必要です。

正規分布データの場合、OLSはMLEに収束します。これは（その点で）青色のソリューションです。正常から外れると、OLSは（ガウスマルコフの定理の観点から）もはやBLUEではありません。これは、OLSがSSRを最小化するように見えるのに対して、GMTが最小SEの観点からBLUEを定義するためです。詳細はこちら。

一般的に言えば、MLEが存在する場合（「MLE障害」またはMLEが存在しない場合はグーグル）、分散を最小化するか、偏りをなくすために（したがって、他の推定量と比較できるように）調整する方が簡単です。 。