ガウスマルコフの定理は、OLS推定量が線形回帰モデルの最良の線形不偏推定量であることを示しています。
しかし、私は線形性と偏りを気にしないと仮定します。次に、Gauss-Markovの仮定またはその他の一般的な仮定の下で最も効率的な線形回帰モデルの推定値が他にありますか？
もちろん、標準的な結果が1つあります。ガウスマルコフの仮定に加えて、エラーが正規分布していると仮定した場合、OLS自体が最良の不偏推定量です。他の特定のエラー分布については、対応する最尤推定量を計算できます。
しかし、私はいくつかの比較的一般的な状況でOLSよりも優れた推定器があるかどうか疑問に思っていましたか？
回答:
偏りのない推定値は、1）古典的、2）数学的に分析しやすいため、入門統計コースで一般的です。Cramer-Raoの下限は、2）の主要なツールの1つです。偏りのない推定から離れて、可能な改善があります。バイアスと分散のトレードオフは、偏りのある推定が偏りのない推定よりも優れていることを理解するための統計における重要な概念です。
残念ながら、偏った推定量は一般的に分析が困難です。回帰では、過去40年間の研究の多くは、偏った推定に関するものでした。これは尾根回帰で始まりました（Hoerl and Kennard、1970）。参照フランクとフリードマン（1996）とバリとフライ（2005）レビューと洞察を。
バイアスと分散のトレードオフは、変数の数が多い高次元でより重要になります。チャールズ・スタインは、通常の平均問題でサンプルの平均がもはや許容できない場合、（1956年のスタインを参照）。James-Stein推定量（James and Stein 1961）は、サンプル平均を支配する推定量の最初の例です。ただし、これは許容されません。
バイアス分散問題の重要な部分は、バイアスのトレードオフ方法を決定することです。 単一の「最良の」推定量はありません。過去10年間、スパース性は研究の重要な部分でした。ヘスターバーグ等を参照。（2008）部分的なレビュー。
上記で参照した推定量のほとんどは、非線形です。 。リッジパラメーターを決定するためにデータが使用されると、リッジ回帰も非線形になります。
Bayes Estimateで問題ないかどうかわかりませんか？はいの場合、損失関数に応じて、異なるベイズ推定値を取得できます。ブラックウェルの定理は、ベイズ推定値に偏りがないことを示しています。決定論的議論は、すべての許容可能なルール（（または、比較される他のすべてのルール、現在のルールのリスクが（厳密に）ルールのリスクよりも小さいパラメーターの値が存在する）比較されている））は（一般化された）ベイズ規則です。
James-Stein Estimatorsは、多くの場合OLSよりも優れた別のクラスの推定量（漸近的にベイズの方法で導出できます）です。
OLSは多くの状況で容認できない場合があり、ジェームズ・スタイン推定量はその例です。（スタインのパラドックスとも呼ばれます）。
最小平均二乗誤差を持つ推定量を見つけるためのバイアス推定に関するKayとEldarによる素晴らしいレビューペーパーがあります。