8 単純な線形回帰モデルの場合、OLSと最尤法（正規分布を想定）の両方で同じ出力（パラメーター値）が得られることがわかりました。このことから、OLSは正規分布についても暗黙の仮定を行っていると言えますか？両方が同じ値を生成する理由に興味はありませんが、どちらがデータについてそれほど厳密ではない仮定をするのですか？ regression normal-distribution maximum-likelihood least-squares — ニーラジ ソース
6 OLSは、モデルエラーの正規性の仮定を行いません。OLSはさまざまな分布仮定の下で使用でき、推定量は最小分散線形不偏推定量として意味をなします。 最尤（ML）はさまざまな分布にも対応できますが、分布は事前に選択する必要があります。実際の分布が想定された分布と異なるように見える場合、ML推定器は、データの同時確率密度を最大化する推定器としてはもはや意味がありません。 したがって、特定のアプリケーションでは、MLはモデルエラーについてOLSよりも厳しい仮定をしていると言えます。 — リチャードハーディ ソース ありがとう@RihchardHardy .....「OLSはさまざまな分布の仮定の下で使用できる」とはどういう意味ですか？私の知識によれば、OLSはデータについて何も仮定しないため、残差の二乗和を最小化するだけです。 — Neeraj あなたが正しいです。それは、「どのような分布の仮定があっても、あなたが作っているのはOLSで結構です」という意味でした。 — Richard Hardy @ありがとうRichardHardy。これは、最尤が分布の仮定と同じくらい良いことを意味します。しかし、線形回帰モデルの場合、OLSは常にMLより優れているということですか？ — Neeraj 1 どちらが良いかは、目的関数（または損失関数）に依存します。1.エラーの同時確率密度を最大化したい場合は、最大尤度を選択します（ただし、モデルの残差が分布の仮定とどの程度一致しているかを確認する必要があります）。また、誤差分布が一致していなくても、最大尤度は機能する可能性があります。ここでのキーワードは準最尤です。2.残差の2乗の合計を最小化する場合は、OLSを使用します。 — Richard Hardy 1 解釈の問題だと思います。OLSとMLEには異なる目標があります。ただし、OLSとMLEは正規分布では同じです。これは無意識のうちに公称仮定を使用してOLSとして解釈できますか？たぶん、そうは思いませんが。OLSはこれに基づいておらず、可能性を最大化するという目標もありません。偶然だと思います。一般的には、コメントで提起するのではなく、新しい質問をすることができます。コメントは、理想的にはOPまたは回答に強く関連している必要がありますが、より広い議論は、新しい質問や新しい回答に値するかもしれません。 — Richard Hardy