ロジスティック回帰が適切に調整されたモデルを生成するのはなぜですか？

ロジスティック回帰がWebのクリック率の予測に頻繁に使用される理由の1つは、適切に調整されたモデルが生成されることです。これについての良い数学的な説明はありますか？

はい。

ロジスティック回帰からの予測確率ベクトルは、行列方程式を満たします$p$

$$X^t(p - y) = 0$$

$X$$y$$X$

切片列（転置行列の行）に特化して、関連する線形方程式は次のとおりです。

$$\sum_i( p_i - y_i) = 0$$

したがって、全体的な予測確率の平均は、応答の平均と等しくなります。

$x_{ij}$

$$\sum_i x_{ij}(p_i - y_i) = \sum_{i \mid x_{ij} = 1}(p_i - y_i) = 0$$

$x_{ij} = 1$

次のようなわかりやすい説明を提供できると思います。

$$J(\theta) = -\frac{1}{m}\sum_{i=1}^m \left[ y^{(i)}\log\left(h_\theta \left(x^{(i)}\right)\right) + (1 -y^{(i)})\log\left(1-h_\theta \left(x^{(i)}\right)\right)\right]$$
m$y^{(i)}$$h_{\theta}(x^{(i)})$$\frac{1}{1+\exp[-\alpha -\sum_j \theta_j x^{(i)}_j]}$$\alpha$

$\theta_j$

$$\frac{\partial J(\theta)}{\partial \theta_j}=\frac{1}{m}\sum_{i=1}^m\left[h_\theta\left(x^{(i)}\right)-y^{(i)}\right]\,x_j^{(i)}$$

$$\sum_{i=1}^m h_\theta\left(x^{(i)}\right)x_j^{(i)}=\sum_{i=1}^m y^{(i)}\,x_j^{(i)}$$

つまり、モデルが完全にトレーニングされている場合、トレーニングセットで得られる予測確率はそれ自体に広がるため、各フィーチャの重み付けされた（すべての）値の合計は、そのフィーチャの値の合計と等しくなります。陽性サンプルの。

$\alpha$$x_0$$\alpha$$\theta_0$

$$\sum_{i=1}^m h_\theta\left(x^{(i)}\right)x_0^{(i)}=\sum_{i=1}^m y^{(i)}\,x_0^{(i)}$$ $$\sum_{i=1}^m h_\theta\left(x^{(i)}\right)=\sum_{i=1}^m y^{(i)}$$ $h_\theta\left(x^{(i)}\right)$ $$\sum_{i=1}^m p^{(i)} =\sum_{i=1}^m y^{(i)}$$

ロジスティック回帰が適切に調整されていることは明らかです。

参照：Charles Elkanによる対数線形モデルと条件付き確率場