GLMの対数尤度は、グローバルな最大値への収束を保証していますか？

私の質問は：

一般化線形モデル（GLM）は、グローバルな最大値に収束することが保証されていますか？もしそうなら、なぜですか？
さらに、凸性を保証するためのリンク関数にはどのような制約がありますか？

GLMについての私の理解は、それらが高度に非線形な尤度関数を最大化するということです。したがって、いくつかの極大値があり、収束するパラメーターセットは最適化アルゴリズムの初期条件に依存すると想像します。しかし、いくつかの研究を行った後、複数の局所的最大値があることを示す単一の情報源は見つかりませんでした。さらに、私は最適化手法にあまり精通していませんが、ニュートンラプソン法とIRLSアルゴリズムは極大になりやすいことを知っています。

可能であれば、直感的かつ数学的に説明してください！

編集：dksahujiは私の元の質問に答えましたが、上記の追加の質問[ 2 ] を追加したいと思います。（「凸性を保証するためのリンク関数にはどのような制約がありますか？」）

— ダンクマスターダン
ソース

そうする前に、いくつかの制限が必要だと思います。ステートメントのソースは何ですか？

— Glen_b -Reinstateモニカ

いくつかのサイトはそれを暗示しているように見えましたが、私はそれを完全に言及したものを見つけることができなかったので、その反論も歓迎します！

— DankMasterDan

可能性がドメインのあらゆる場所で明確に定義されている限り（および、いくつかの接線上の数値の問題を無視する限り）、そうだと思います。これらの条件下では、ヘッシアンはドメインのどこでも<0であるため、尤度はグローバルに凹になります。ところで、この関数はパラメーター内で「高度に非線形」ではなく、それが重要です。

— user603 14

@ user603ヘシアンがどこでも<0であることのソース/証明は何ですか？

— DankMasterDan 14

ロジスティック、ポアソン、およびガウス回帰は、「適切な」リンク関数が与えられると、多くの場合凸です。ただし、任意のリンク関数では、凸状ではありません。

— Memming

指数族の定義は次のとおりです。

p (x | θ) = h (x) \exp (θ^{T} ϕ (x) - A (θ)),

$p(x|\theta) = h(x)\exp(\theta^T\phi(x) - A(\theta)),$

ここで、は対数パーティション関数です。次の3つのことが1Dの場合に当てはまることを証明できるようになりました（そして、それらはより高い次元に一般化されます-指数ファミリーまたはログパーティションのプロパティを調べることができます）： $A(\theta)$

$\frac{dA}{d\theta} = \mathbb{E}[\phi(x)]$
$\frac{d^2A}{d\theta^2} = \mathbb{E}[\phi^2(x)] -\mathbb{E}[\phi(x)]^2 = {\rm var}(\phi(x))$
$\frac{ \partial ^2A}{\partial\theta_i\partial\theta_j} = \mathbb{E}[\phi_i(x)\phi_j(x)] -\mathbb{E}[\phi_i(x)] \mathbb{E}[\phi_j(x)] = {\rm cov}(\phi(x)) \Rightarrow \Delta^2A(\theta) = {\rm cov}(\phi(x))$

$A(\theta)$ ${\rm cov}(\phi(x))$

\begin{aligned} p (D | θ) & = [\prod_{i = 1}^{N} h (x_{i})] \exp (θ^{T} [\sum_{i = 1}^{N} ϕ (x_{i})] - N A (θ)) \\ \log (p (D | θ)) & = θ^{T} [\sum_{i = 1}^{N} ϕ (x_{i})] - N A (θ) \\ = θ^{T} [ϕ (D)] - N A (θ) \end{aligned}

$\begin{align} p(\mathcal{D}|\theta) &= \bigg[\prod_{i=1}^{N}{h(x_i)}\bigg]\ \exp\!\big(\theta^T[\sum_{i=1}^{N}\phi(x_i)] - NA(\theta)\big) \\ \log\!\big(p(\mathcal{D}|\theta)\big) &= \theta^T\bigg[\sum_{i=1}^{N}\phi(x_i)\bigg] - NA(\theta) \\ &= \theta^T[\phi(\mathcal{D})] - NA(\theta) \end{align}$

$\theta^T[\phi(\mathcal{D})]$ $-A(\theta)$

曲線指数族と呼ばれる一般的なバージョンもありますが、これも同様です。ただし、ほとんどの証明は標準形式です。

— ダークサジ
ソース

これは、GLMがリンク関数が選択される一意のグローバルな最小の名目を持つことを意味します（非標準的なものを含む）？

— DankMasterDan 14

p (x | θ) = h (x) e x p (η (θ)^{T} ϕ (x) - A (η (θ)))

$p(x|\theta) = h(x)exp(\eta(\theta)^T\phi(x) - A(\eta(\theta)))$ is the case you are talking about. This still is concave in

η

$\eta$ but may not be in

θ

$\theta$ so

η

$\eta$ should be such that the whole log likelihood is concave in

θ

$\theta$ .

— dksahuji

Note that the question asks about convergence, rather than just existence, but with a few restrictions, that, too, may be doable.

— Glen_b -Reinstate Monica

@Glen_b Can you elaborate? I dont know any such restrictions. Maybe something like restrictions on stepsize in a gradient based optimizer to gaurantee convergence in case of concave function.

— dksahuji

@Glen_b That might be true in general but I am not able to see any reason for concave function to not converge to optima within small tolerable value. But I would say that I dont have any practical experience with these and I have just started. :)

— dksahuji