ロジスティック関数のヘッセ行列

ロジスティック回帰の目的関数のヘッシアンを導き出すのは困難です。ここで、は次のとおりです $l(\theta)$$l(\theta)$

$$l(\theta)=\sum_{i=1}^{m} \left[y_{i} \log(h_\theta(x_{i})) + (1- y_{i}) \log (1 - h_\theta(x_{i}))\right]$$

$h_\theta(x)$はロジスティック関数です。ヘッセ行列はです。計算して導出しようとしましたが、から行列表記を取得する方法がわかりませんでした。$X^T D X$$\frac{\partial^2 l(\theta)}{\partial \theta_i \partial \theta_j}$$\frac{\partial^2 l(\theta)}{\partial \theta_i \partial \theta_j}$

を導出するクリーンで簡単な方法を知っている人はいますか？$X^T D X$

ここでは、ソリューションが自己完結型であるために必要なすべてのプロパティとIDを導出しますが、それ以外はこの導出はクリーンで簡単です。記法を形式化し、損失関数をもう少しコンパクトに書きましょう。検討してサンプルをようと。バイナリロジスティック回帰では、通常、仮説関数がロジスティック関数であることを思い出してください。正式に$m$$\{x_i,y_i\}$$x_i\in\mathbb{R}^d$$y_i\in\mathbb{R}$$h_\theta$

$$h_\theta(x_i)=\sigma(\omega^Tx_i)=\sigma(z_i)=\frac{1}{1+e^{-z_i}},$$

ここで、およびです。損失関数（OPには負の符号が欠落していると思われます）は、次のように定義されます。$\omega\in\mathbb{R}^d$$z_i=\omega^Tx_i$

$$l(\omega)=\sum_{i=1}^m -\Big( y_i\log\sigma(z_i)+(1-y_i)\log(1-\sigma(z_i))\Big)$$

ロジスティック関数には2つの重要なプロパティがあり、将来の参照のためにここで導き出します。まず、。$1-\sigma(z)=1-1/(1+e^{-z})=e^{-z}/(1+e^{-z})=1/(1+e^z)=\sigma(-z)$

また、

$$\begin{equation} \begin{aligned} \frac{\partial}{\partial z}\sigma(z)=\frac{\partial}{\partial z}(1+e^{-z})^{-1}=e^{-z}(1+e^{-z})^{-2}&=\frac{1}{1+e^{-z}}\frac{e^{-z}}{1+e^{-z}} =\sigma(z)(1-\sigma(z)) \end{aligned} \end{equation}$$

コンポーネントに関する導関数を取得する代わりに、ここではベクトルを直接操作します（ベクトルの導関数はこちらで確認できます）。損失関数のヘッセ行列はで与えられますが、最初におよび。$l(\omega)$$\vec{\nabla}^2l(\omega)$$\frac{\partial z}{\partial \omega} = \frac{x^T\omega}{\partial \omega}=x^T$$\frac{\partial z}{\partial \omega^T}=\frac{\partial \omega^Tx}{\partial \omega ^T} = x$

してみましょう。上記で導出したプロパティとチェーンルールを使用して$l_i(\omega)=-y_i\log\sigma(z_i)-(1-y_i)\log(1-\sigma(z_i))$

$$\begin{equation} \begin{aligned} \frac{\partial \log\sigma(z_i)}{\partial \omega^T} &= \frac{1}{\sigma(z_i)}\frac{\partial\sigma(z_i)}{\partial \omega^T} = \frac{1}{\sigma(z_i)}\frac{\partial\sigma(z_i)}{\partial z_i}\frac{\partial z_i}{\partial \omega^T}=(1-\sigma(z_i))x_i\\ \frac{\partial \log(1-\sigma(z_i))}{\partial \omega^T}&= \frac{1}{1-\sigma(z_i)}\frac{\partial(1-\sigma(z_i))}{\partial \omega^T} =-\sigma(z_i)x_i \end{aligned} \end{equation}$$

今ではそれを示すのは簡単です

$$\vec{\nabla}l_i(\omega)=\frac{\partial l_i(\omega)}{\partial \omega^T} =-y_ix_i(1-\sigma(z_i))+(1-y_i)x_i\sigma(z_i)=x_i(\sigma(z_i)-y_i)$$

なんて！

最後のステップは、ヘッセ行列を計算することです

$$\vec{\nabla}^2l_i(\omega)=\frac{\partial l_i(\omega)}{\partial \omega\partial \omega^T}=x_ix_i^T\sigma(z_i)(1-\sigma(z_i))$$

ためのサンプル我々は。これは、列ベクトルをようなサイズ行列に連結することと同等です。スカラー項は、ように対角行列結合されます。最後に、$m$$\vec{\nabla}^2l(\omega)=\sum_{i=1}^m x_ix_i^T\sigma(z_i)(1-\sigma(z_i))$$x_i\in\mathbb{R}^d$$X$$d\times m$$\sum_{i=1}^m x_ix_i^T=XX^T$$D$$D_{ii}=\sigma(z_i)(1-\sigma(z_i))$

$$\vec{H}(\omega)=\vec{\nabla}^2l(\omega)=XDX^T$$

最初からすべてのサンプルを一度に検討し、代わりに行列微分を使用することにより、より高速なアプローチを導き出すことができます。補足説明として、この定式化では、が凸であることを示すのは簡単です。ましょう任意のベクターであり、その結果。それから$l(\omega)$$\delta$$\delta\in\mathbb{R}^d$

$$\delta^T\vec{H}(\omega)\delta = \delta^T\vec{\nabla}^2l(\omega)\delta = \delta^TXDX^T\delta = \delta^TXD(\delta^TX)^T = \|\delta^TDX\|^2\geq 0$$

以来、と。これは、が正半無限であり、したがってが凸である（ただし、強く凸ではない）ことを意味します。$D>0$$\|\delta^TX\|\geq 0$$H$$l$