ロジスティック回帰の行列表記

線形回帰（二乗損失）では、行列を使用して、目的を非常に簡潔に表記します

$$\text{minimize}~~ \|Ax-b\|^2$$

ここで、$A$はデータ行列、$x$は係数、$b$は応答です。

ロジスティック回帰の目的に同様の行列表記はありますか？私が見たすべての表記法は、すべてのデータポイント（\ sum _ {\ text data} \ text {L} _ \ text {logistic}（y、\ beta ^ Tx）のようなもの）の合計を取り除くことはできません$\sum_{\text data} \text{L}_\text{logistic}(y,\beta^Tx)$。

---

編集：joceratopsとAdamOの素晴らしい答えに感謝します。彼らの答えは、線形回帰がより簡潔な表記法を持っている別の理由が、正方形と和またはe ^ \ top eをカプセル化するノルムの定義にあることを理解するのに役立ちました$e^\top e$。しかし、ロジスティック損失では、そのような定義はなく、表記法が少し複雑になります。

線形回帰では、$x$を推定する尤度推定の最大化（MLE）ソリューションには、次の閉形式のソリューションがあります（Aが完全な列ランクの行列であると仮定します）。

$$\hat{x}_\text{lin}=\underset{x}{\text{argmin}} \|Ax-b\|_2^2 = (A^TA)^{-1}A^Tb$$

これは「目的関数を最小化するを見つける、」と読みます。この方法で線形回帰目的関数を表現することの良いところは、すべてを行列表記で保持し、を手で解くことができることです。Alex R.が言及しているように、実際には直接考慮ことはありません。計算が非効率的であり、がフルランク基準を満たさないことが多いためです。代わりに、Moore-Penrose疑似逆関数を使用します。擬似逆問題の計算的解決の詳細には、コレスキー分解または特異値分解が含まれます。$x$$\|Ax-b\|_2^2$X LIN（A T A ）- 1 A$\hat{x}_\text{lin}$$(A^TA)^{-1}$$A$

あるいは、ロジスティック回帰の係数を推定するためのMLEソリューションは次のとおりです。

$$\hat{x}_\text{log} = \underset{x}{\text{argmin}} \sum_{i=1}^{N} y^{(i)}\log(1+e^{-x^Ta^{(i)}}) + (1-y^{(i)})\log(1+e^{x^T a^{(i)}})$$

ここで（データの各サンプルが行ごとに保存されると仮定）：

$x$は回帰係数を表すベクトルです

$a^{(i)}$ i t h Aは、データ行列のサンプル/行を表すベクトルです$i^{th}$$A$

$y^{(i)}$でスカラー、及びに対応するラベルサンプル$\{0, 1\}$$i^{th}$$i^{th}$

$N$は、データサンプル数/データ行列行数です。$A$

繰り返しますが、これは「目的関数を最小化するを見つける」と読みます。$x$

必要に応じて、さらに一歩進んで、をマトリックス表記で次のように表すことができます。$\hat{x}_\text{log}$

$$\hat{x}_\text{log} = \underset{x}{\text{argmin}} \begin{bmatrix} 1 & (1-y^{(1)}) \\ \vdots & \vdots \\ 1 & (1-y^{(N)})\\\end{bmatrix} \begin{bmatrix} \log(1+e^{-x^Ta^{(1)}}) & ... & \log(1+e^{-x^Ta^{(N)}}) \\\log(1+e^{x^Ta^{(1)}}) & ... & \log(1+e^{x^Ta^{(N)}}) \end{bmatrix}$$

しかし、これを行っても何も得られません。ロジスティック回帰には閉形式の解がなく、行列表記で表現することで線形回帰と同じ利点が得られません。を解くには、勾配降下法やニュートンラプソン法などの推定手法が使用されます。これらの手法のいくつか（つまり、Newton-Raphson）を使用して、は近似され、マトリックス表記で表されます（Alex Rが提供するリンクを参照）。$\hat{x}_\text{log}$$\hat{x}_\text{log}$

@joceratops answerは、推定の最尤の最適化問題に焦点を当てています。これは確かに、多くのタイプの問題に柔軟に対応できるアプローチです。線形およびロジスティック回帰モデルを含むほとんどのモデルを推定するために、モーメント推定の方法に基づいた別の一般的なアプローチがあります。

線形回帰推定量は、推定式のルートとして定式化することもできます。

$$0 = \mathbf{X}^T(Y - \mathbf{X}\beta)$$

この点で、は0の平均残差を取得する値と見なされます。この解釈を行うために、基礎となる確率モデルに依存する必要はありません。ただし、通常の尤度のスコア方程式を導き出すのは興味深いことです。実際に、上記の形式とまったく同じになることがわかります。線形モデル（たとえば、線形回帰またはロジスティック回帰）の正規指数族の尤度を最大化することは、スコア方程式の解を得ることと同等です。$\beta$

$$0 = \sum_{i=1}^n S_i(\alpha, \beta) = \frac{\partial}{\partial \beta} \log \mathcal{L}( \beta, \alpha, X, Y) = \mathbf{X}^T (Y - g(\mathbf{X}\beta))$$

ここ値が期待している。GLM推定では、はリンク関数の逆であると言われています。通常の尤度方程式では、は恒等関数であり、ロジスティック回帰でははロジット関数です。より一般的なアプローチは、を要求することです。これにより、モデルの指定ミスが可能になります。$Y_i$$g(\mathbf{X}_i \beta)$$g$$g^{-1}$$g^{-1}$$0 = \sum_{i=1}^n Y - g(\mathbf{X}_i\beta)$

さらに、正規の指数族の場合、これは、平均分散関係と呼ばれます。実際、ロジスティック回帰の場合、平均分散関係は、平均がによって分散に関連するようなものです。これは、GLMが誤って指定されたGLMの解釈が、平均ピアソン残差0を与えるものであると解釈することを示唆しています。これはさらに、非比例関数平均導関数と平均分散関係を可能にする一般化を示唆しています。$\frac{\partial g(\mathbf{X}\beta)}{\partial \beta} = \mathbf{V}(g(\mathbf{X}\beta))$$p = g(\mathbf{X}\beta)$$\mbox{var}(Y_i) = p_i(1-p_i)$

一般化推定方程式のアプローチは、次のように線形モデルを指定します：

$$0 = \frac{\partial g(\mathbf{X}\beta)}{\partial \beta} \mathbf{V}^{-1}\left(Y - g(\mathbf{X}\beta)\right)$$

で与えフィット値（平均値）に基づいて、分散の行列。この推定アプローチにより、GLMと同様にリンク関数と平均分散関係を選択できます。$\mathbf{V}$$g(\mathbf{X}\beta)$

ロジスティック回帰では、は逆ロジットになり、はで与えられます。ニュートンラプソンによって得られたこの推定式の解は、ロジスティック回帰から得られたを生成します。ただし、同様のフレームワークの下では、いくぶん広範なクラスのモデルが推定可能です。たとえば、リンク関数を線形予測子の対数とみなすと、回帰係数はオッズ比ではなく相対リスクになります。これは、ORをRRとして解釈する際によく文書化された落とし穴を与えられたので、なぜ誰もロジスティック回帰モデルにまったく適合しないのかと疑問に思います。$g$$V_{ii}$$g(\mathbf{X}_i \beta)(1-g(\mathbf{X}\beta))$$\beta$