なぜフィッティングGLMSが特別な最適化問題であるかのように扱う理由に興味があります。彼らは？それらは最大尤度であり、尤度を書き留めてから...最大化するように思えます！それでは、なぜ応用数学文献で開発された無数の最適化スキームの代わりにフィッシャースコアリングを使用するのでしょうか？
なぜフィッティングGLMSが特別な最適化問題であるかのように扱う理由に興味があります。彼らは？それらは最大尤度であり、尤度を書き留めてから...最大化するように思えます！それでは、なぜ応用数学文献で開発された無数の最適化スキームの代わりにフィッシャースコアリングを使用するのでしょうか？
回答:
フィッシャーのスコアリングは、GLMでたまたま特定されたニュートンの方法の単なるバージョンであり、フィッシャーの情報マトリックスが指数ファミリーのランダム変数に対して見つけやすいという事実以外には、特に特別なことはありません。また、ほぼ同時に登場する傾向がある他の多くの数学統計資料とも結びついており、フィッシャーの情報が正確に何を意味するかについての素晴らしい幾何学的直観を提供します。
既存のパッケージを使用するのではなく、手動でコーディングする必要がある場合を除いて、必要に応じて他のオプティマイザーを使用しないと考える理由はまったくありません。フィッシャーのスコアリングに強く重点を置いているのは、教育学、導出の容易さ、歴史的バイアス、および「ここでは発明されていない」症候群の組み合わせであると思われます。
それは歴史的で実用的です。NelderおよびWedderburnは、フィッシャースコアリングを使用してMLEを見つけることができるモデルのセット（すなわち、反復的に再重み付けされた最小二乗法）としてGLMをリバースエンジニアリングしました。少なくとも一般的なケースでは、アルゴリズムはモデルの前にありました。
また、IWLSは70年代前半に利用可能だったため、GLMは知っておくべき重要なクラスのモデルであったことを思い出してください。ニュートン型アルゴリズム（通常は一意のMLEを使用）を使用してGLMの尤度を確実に最大化できるという事実は、数値最適化のスキルを持たない人でもGLIMなどのプログラムを使用できることを意味します。