ロジスティック回帰はいつ適していますか？

現在、分類方法を教えています。具体的には、サポートベクターマシン、ニューラルネットワーク、ロジスティック回帰の3つの方法を検討しています。私が理解しようとしているのは、ロジスティック回帰が他の2つよりも優れたパフォーマンスを発揮する理由です。

ロジスティック回帰の私の理解から、アイデアはデータ全体にロジスティック関数を適合させることです。したがって、データがバイナリの場合、ラベル0のすべてのデータは値0（またはそれに近い）にマッピングされ、値1のすべてのデータは値1（またはそれに近い）にマッピングされる必要があります。ロジスティック関数は連続的で滑らかなので、この回帰を実行するには、すべてのデータが曲線に適合する必要があります。決定境界付近のデータポイントに適用される重要性はこれ以上なく、すべてのデータポイントが異なる量で損失に寄与します。

ただし、サポートベクターマシンとニューラルネットワークでは、決定境界付近のデータポイントのみが重要です。データポイントが決定境界の同じ側にある限り、同じ損失をもたらします。

したがって、決定の周りの難しいデータだけに焦点を合わせるのではなく、多くの重要でない（分類​​しやすい）データに曲線を当てはめようとすると「リソースを浪費する」ため、ロジスティック回帰はサポートベクターマシンまたはニューラルネットワークよりも優れています。境界？

「無駄」とみなされるリソースは、実際には、ロジスティック回帰によって得られる情報の増加です。あなたは間違った前提で始めました。ロジスティック回帰は分類子ではありません。これは、確率/リスク推定量です。SVMとは異なり、「クローズコール」を許可し、予期します。観測を分類するたびに暗黙的なユーティリティ関数を組み込むように予測信号をだまそうとしないため、最適な意思決定につながります。最尤推定を使用したロジスティック回帰の目標は、Prob 最適な推定を提供することです。結果は、リフトカーブ、信用リスクスコアリングなど、さまざまな方法で使用されます。NateSilverの著書Signal and the Noiseを参照してください$(Y=1|X)$、確率論的推論を支持する説得力のある引数です。

ロジスティック回帰の従属変数は、0/1、A / B、yes / noなど、任意の方法でコーディングできることに注意してください。$Y$

ロジスティック回帰の主な仮定は、が真のバイナリであるということです。たとえば、基になる順序変数または連続応答変数から作成されたものではありません。それは、分類方法と同様に、真にオールオアナッシングの現象のためのものです。$Y$

一部のアナリストは、ロジスティック回帰が対数オッズスケールでの予測子効果の線形性を仮定していると考えています。それは、1958年にDR Coxがロジスティックモデルを発明したときに、回帰スプラインなどのツールを使用してモデルを拡張するコンピューティングが利用できなかったときにのみ当てはまりました。ロジスティック回帰の唯一の弱点は、モデルで許可する相互作用を指定する必要があることです。付加的な主効果は一般に相互作用よりもはるかに強力な予測子であるため、ほとんどのデータセットではこれが強みになり、相互作用に等しい優先順位を与える機械学習法は不安定で、解釈が難しく、予測にはロジスティック回帰よりも大きなサンプルサイズが必要になる可能性があります上手。

あなたは正しいです、多くの場合、ロジスティック回帰は分類器として不十分です（特に他のアルゴリズムと比較した場合）。ただし、これはロジスティック回帰を忘れてはならないという意味ではありません。2つの大きな利点があるため、決して検討する必要はありません。

1. 確率的な結果。フランク・ハレル（+1）は彼の答えでこれを非常によく説明しました。

2. これにより、他の独立変数を制御しながら、独立変数が従属変数に与える影響を理解できます。たとえば、条件付きオッズ比の推定値と標準誤差を提供します（オッズは$Y=1$ いつ $X_1 = 1$ の代わりに $2$ 押しながら $X_2,...X_p$ 絶え間ない）。