ロジスティック回帰は閉じた形でいつ解決されますか？

かかる場合$x \in \{0,1\}^d$及び$y \in \{0,1\}$、我々は、ロジスティック回帰を用いたX所与Yを予測するタスクをモデル化すると仮定する。ロジスティック回帰係数はいつ閉じた形で記述できますか？

1つの例は、飽和モデルを使用する場合です。

つまり、定義します$P(y|x) \propto \exp(\sum_i w_i f_i(x_i))$。ここで、$i$はのべき集合の集合にインデックスを付け$\{x_1,\ldots,x_d\}$、$f_i$は1を返します。$i$番目のセットのすべての変数が1の場合、それ以外の場合は0です。次に、このロジスティック回帰モデルの各$w_i$を、データの統計の有理関数の対数として表現できます。

閉じたフォームが存在する場合、他の興味深い例はありますか？

kjetil b halvorsenが指摘したように、それ自体、線形回帰が分析的解決策を認めることは奇跡です。そして、これは問題の線形性のおかげでのみです（パラメーターに関して）。OLSでは、次のものが 一次条件を有している - 2 Σ Iを（Y 、I - X ' I βは）xはiが = 0 での問題のために

$$\sum_i (y_i - x_i' \beta)^2 \to \min_\beta,$$ $$-2 \sum_i (y_i - x_i'\beta) x_i = 0$$ $p$変数（必要に応じて定数を含む-原点の問題にも回帰がある）、これは方程式とp個の未知数を持つシステムです。最も重要なことは、線形システムであるため、標準の線形代数の理論と実践を使用して解決策を見つけることができることです。このシステムには、完全に共線的な変数がない限り、確率1の解があります。$p$$p$

さて、ロジスティック回帰では、物事はもう簡単ではありません。対数尤度関数 およびMLEを見つけるために、その誘導体を取って、我々が得る ∂

$$l(y;x,\beta) = \sum_i y_i \ln p_i + (1-y_i) \ln(1-p_i), \quad p_i = (1+\exp(-\theta_i))^{-1}, \quad \theta_i = x_i' \beta,$$ のパラメータはβ非常に非線形な方法でこれを入力します毎I、そこ非線形関数の、それらが一緒に加算されます。そこには解析解は（2つの観察、またはそのような何かに些細な状況ではおそらく除く）ではありません、あなたが使用する必要があり、非線形最適化手法を推定は見つけることが β。 $$\frac{\partial l}{\partial \beta'} = \sum_i \frac{{\rm d}p_i}{{\rm d}\theta}\Bigl( \frac{y_i}{p_i} - \frac{1-y_i}{1-p_i} \Bigr)x_i = \sum_i \Bigl[y_i-\frac1{1+\exp(x_i'\beta)}\Bigr]x_i$$ $\beta$$i$$\hat\beta$

問題を少し詳しく調べると（2次導関数を取得）、これは最大の凹関数（栄光化された多変量放物線）を見つける凸最適化問題であるため、どちらかが存在し、合理的なアルゴリズムはむしろそれを見つける必要があることがわかりますすぐに、または物事が無限に吹き飛ばされます。後者は、いくつかのために${\rm Prob}[Y_i=1|x_i'\beta > c] = 1$$c$、つまり、完全な予測ができます。これはかなり不愉快なアーティファクトです。完璧な予測ができると、モデルは完璧に機能しますが、不思議なことに、逆になります。

This post was originally intended as a long comment rather than a complete answer to the question at hand.

From the question, it's a little unclear if the interest lies only in the binary case or, perhaps, in more general cases where they may be continuous or take on other discrete values.

One example that doesn't quite answer the question, but is related, and which I like, deals with item-preference rankings obtained via paired comparisons. The Bradley–Terry model can be expressed as a logistic regression where

$$\mathrm{logit}( \Pr(Y_{ij} = 1) ) = \alpha_i - \alpha_j ,$$ and $\alpha_i$ is an "affinity", "popularity", or "strength" parameter of item $i$ with $Y_{ij} = 1$ indicating item $i$ was preferred over item $j$ in a paired comparison.

If a full round-robin of comparisons is performed (i.e., a pairwise preference is recorded for each unordered $(i,j)$ pair), then it turns out that the rank order of the MLEs $\hat{\alpha}_i$ correspond to the rank order of $S_i = \sum_{j \neq i} Y_{ij}$, the sum total of times each object was preferred over another.

To interpret this, imagine a full round-robin tournament in your favorite competitive sport. Then, this result says that the Bradley–Terry model ranks the players/teams according to their winning percentage. Whether this is an encouraging or disappointing result depends on your point of view, I suppose.

NB This rank-ordering result does not hold, in general, when a full round-robin is not played.