R基本関数glm()はMLEにフィッシャースコアリングglmnetを使用しますが、は同じ方程式を解くために座標降下法を使用しているようです。フィッシャースコアリングは、他のいくつかの行列演算に加えて2次微分行列を計算するため、座標降下はフィッシャースコアリングよりも時間効率が高くなります。これは実行に費用がかかりますが、座標降下はO（np）時間で同じタスクを実行できます。
R基底関数がフィッシャースコアリングを使用するのはなぜですか？この方法は他の最適化方法よりも優れていますか？座標降下とフィッシャースコアリングはどのように比較されますか？私はこのフィールドを実行するのが比較的新しいので、ヘルプやリソースは役に立ちます。
回答:
確実にする唯一の方法はベンチマークによるものですが、glmの場合、Fisherのスコアリングは座標降下よりも速くなるはずです。フィッシャースコアリングはニュートンラフソンの特殊なケースであり、座標降下よりも収束速度が速くなります（ニュートンラフソンは2次収束で、座標降下は線形収束です）。時間は、座標降下よりもはるかに少ないステップで済みます。
なげなわでは、ペナルティ用語の特殊な形式により、非常に特殊なケースになります（実際、絶対値は区別できませんが、場合によってはこれを調整できます）。この特別な問題では、座標降下が特に高速であることがわかります。他にも多くの最適化問題があり、実際にはNewton-Raphsonの方が高速です。