一般化線形モデルによるパラメーター推定

デフォルトglmでは、Rで関数を使用する場合、反復再重み付け最小二乗（IWLS）メソッドを使用して、パラメーターの最尤推定を見つけます。さて、二つ質問があります。

1. IWLS推定は、尤度関数のグローバル最大値を保証しますか？このプレゼンテーションの最後のスライドに基づいて、私はそうではないと思います！それを確かめたかっただけです。
2. 上記の質問1の理由は、ほとんどすべての数値最適化メソッドがグローバルな最大値ではなくローカルな最大値でスタックする可能性があるという事実のためであると言えるでしょうか？

パラメータを推定しようとするときは、常に閉じた形のソリューションが必要です。ただし、常に存在するわけではありません（存在する可能性もありますが、現時点では不明です）。閉じた形の解が存在しない場合、使用する最適なパラメーター推定値を探すために、いくつかのヒューリスティック戦略を使用してパラメーター空間を検索する必要があります。このような検索方法は多数あります（たとえばR、？optimには6つの汎用メソッドがリストされています）。IRWLSは、ニュートンラフソンアルゴリズムの簡易バージョンです。

残念ながら、あなたの[ 1 ] に対する答えは、グローバルな最小値（最大値）を見つけるためのヒューリスティックな検索戦略は保証されていないということです。これが当てはまる理由は3つあります。

1. リンクされたプレゼンテーションのスライド9に記載されているように、独自のソリューションは存在しない可能性があります。この例としては、完全な多重共線性、または推定されるパラメータがデータよりも多い場合があります。
2. スライド10で述べたように（そのプレゼンテーションは非常に良いと思います）、解決策は無限かもしれません。これは、ロジスティック回帰で発生する可能性があります。たとえば、完全な分離がある場合です。

3. また、有限のグローバル最小値（最大値）がある場合でも、アルゴリズムがそれを見つけられない場合もあります。これらのアルゴリズム（特にIRWLSとNR）は、特定の場所から開始し、「見回して」、ある方向に移動することが「下り坂になる」（つまり、フィットを改善する）かどうかを確認する傾向があります。もしそうなら、それはその方向のある距離で再適合し、推測/予測された改善がいくつかの閾値より小さくなるまで繰り返されます。したがって、グローバルな最小値に到達しない2つの方法が考えられます。

   1. 現在の場所からグローバルな最小値（最大値）への降下率が浅すぎてしきい値を超えることができず、アルゴリズムが解を求めて停止します。
   2. 現在の位置とグローバルな最小値（最大値）の間に極小値（最大値）があるため、アルゴリズムがさらに移動すると適合が悪くなるように見えます。

[ 2 ] については、検索戦略が異なれば、極小値に陥る傾向も異なることに注意してください。同じ戦略でも、後の2つの問題に対処するために、別の開始点から適応または開始できる場合があります。

一般的に、IWLSは、他の数値最適化手法と同様に、収束する場合でも、極大値への収束しか保証できないことは間違いありません。 ここだ開始値は、GLMで使用されるアルゴリズムの収束ドメイン外だった良い例ではしかし、それは価値が見る、正規のリンクをGLMSのために、可能性が凹面であることを指摘しているR.中）（ここでは。したがって、アルゴリズムが収束すると、グローバルモードに収束します。

スライドで指摘されている最後の問題は、パラメーターのMLEが無限大にある問題です。これは、完全な分離が存在するロジスティック回帰で発生する可能性があります。このような場合、フィットされた確率が数値的に0または1であるという警告メッセージが表示されます。これが発生した場合、アルゴリズムはモードに収束していないため、これはアルゴリズムの実行とは関係がないことに注意してください。極大で立ち往生。