ロジスティック回帰で異なる分布の予測子変数をどのように処理しますか？

8

x1とx2を指定してyを予測するためにロジスティック回帰を使用しています。

z = B0 + B1 * x1 + B2 * x2
y = e^z / (e^z + 1)

ロジスティック回帰は、変数のスケールが大きく異なる場合にどのように処理されるはずですか？変数の高次係数を使用してロジスティック回帰モデルを構築することはありますか？私はこのようなものを想像しています（2つの変数について）：

z = B0 + B1 * x1 + B2 * x1^2 + B3 * x2 + B4 * x2^2

または、ロジスティック回帰を使用する前に、x1とx2の値を単純に正規化、標準化、または再スケーリングする正しい答えは何ですか？

— ジェームス・トンプソン
ソース

6

もちろん、パラメータを正規化することもできます。これにより、学習アルゴリズムの速度も向上します。

アルゴリズムの実行の最後に同等のを得るには、各特徴、その平均とその範囲ます。次に、各値、つまりレコード機能の値を次のように変更します。これで、値は間隔[- 1,1]なので、をより自信を持って比較できるため、オッズ比を比較できます。これにより、最適なセットを見つける時間が短縮されます $\beta$ $x_i$ $\mu_i$ $r_i = \max_i - \min_i$ $r[x_i]$ $x_i$ $r$

\frac{r [x_{i}] - μ_{i}}{r_{i}}

$\frac{r[x_i] - \mu_i}{r_i}$

r [x_{i}]

$r[x_i]$

β

$\beta$

β

$\beta$ 勾配降下法を使用している場合。新しいレコードクラスを予測する場合は、機能を正規化することを忘れないでください。

r^{'}

$r'$

より高次の機能を追加することもできますが、これは過剰適合につながります。通常、パラメータを追加する場合は、正規化を追加する方が適切である限り、大きさを小さくすることで過剰適合を回避しようとします。これは、この項をロジスティック回帰コスト関数に追加して得られます。ここで、は正則化の力を調整します。 $\beta$

λ \sum_{i = 0}^{n} β_{i}^{2}

$\lambda\sum_{i=0}^{n}\beta_i^2$

λ

$\lambda$

ここで、機械学習に関するスタンフォード大学のクラスをご覧になることをお勧めします。http：//www.ml-class.org/course/video/preview_list、ユニット6および7。

— シモーネ
ソース

明確にするために、新しいレコードr 'を正規化するとは、元のデータから派生した古いとを使用することです。ありがとう

m u_{i}

$mu_i$

r_{i}

$r_i$

— FMZ

はい、そうです。新しいレコードの値を正規化するには、トレーニングセットで計算されたとを使用する必要があります。また、ではなく、機能標準偏差を使用することもできます。

μ_{i}

$\mu_i$

r_{i}

$r_i$

x_{i}

$x_i$

r_{i}

$r_i$

— Simone、

6

@Simoneはいくつかの優れた点を示しているので、補足のヒントをいくつか投入します。正規化は速度などに役立ちますが、ロジスティック回帰は予測変数の分布についての仮定を行いません。したがって、正規化する必要はありません。第2に、2乗項を追加すると過剰適合につながる可能性があります（そのため注意が必要です）ことは許容されます。つまり、予測の範囲の中央では、極端な場合よりも成功の可能性が高くなります（またはその逆）。

— gung-モニカの回復
ソース

4

理論的には、入力のスケールはロジスティック回帰とは無関係です。「理論的に」にをすると、の推定値がそれに応じて調整されます。それはなり倍よりも小さい MLEはの不変性に起因します。 $X_1$ $10^{10^{10^{10}}}$ $\beta_1$ $10^{-10^{10^{10}}}$ $\beta_1$

しかし、Rに上記の調整された回帰を実行させてみてください-それはおかしくなります（X行列を構築することさえできません）。

これは、行列の平方根を計算するためのコレスキー分解アルゴリズムに少し似ています。はい、正確な数学では、コレスキー分解は負の数の平方根を取ることは決してありませんが、エラーを四捨五入し、浮動小数点演算はそのような場合につながる可能性があります。

X変数の任意の線形結合を使用でき、予測値は同じになります。

@simoneのアドバイスに従い、モデルのフィッティングに再スケーリングされたX変数を使用する場合。しかし、数値的に安定した入力X変数を使用した後、MLEの不変性プロパティを使用して必要なベータを取得できます。元のスケールのベータ版は、@ simoneの変換されたベータ版よりも解釈が容易な場合があります。したがって、変換された（番目の変数の番目の観測）が得られます。これをと呼び、次のように定義します。 $x_{ij}$ $i$ $j$ $\tilde{x}_{ij}$

{\tilde{x}}_{i j} = a_{j} x_{i j} + b_{j}

$\tilde{x}_{ij}=a_{j}x_{ij}+b_{j}$

@simoneの選択は、および（を使用して番目の変数の番目の統計、つまり）。とアルゴリズムパラメータ（アルゴリズムをより安定にかつ/またはより高速に実行するために選ばれた）と考えることができます。次に、を使用してロジスティック回帰を当てはめ、パラメーター推定を取得します。したがって、線形予測子を書き出します。 $a_{j}=\frac{1}{x_{[N]j}-x_{[1]j}}$ $b_j=\frac{\overline{x}_{j}}{x_{[N]j}-x_{[1]j}}$ $x_{[i]j}$ $i$ $j$ $x_{[N]j}\geq x_{[N-1]j}\geq\dots\geq x_{[1]j}$ $a_j$ $b_j$ $\tilde{x}_{ij}$ $\tilde{\beta}_j$

z_{i} = {\tilde{β}}_{0} + \sum_{j} {\tilde{x}}_{i j} {\tilde{β}}_{j}

$z_i = \tilde{\beta}_0 + \sum_j\tilde{x}_{ij}\tilde{\beta}_j$

ここで、の式を代入すると、次のようになります。 $\tilde{x}_{ij}$

z_{i} = {\tilde{β}}_{0} + \sum_{j} (a_{j} x_{i j} + b_{j}) {\tilde{β}}_{j} = β_{0} + \sum_{j} x_{i j} β_{j}

$z_i = \tilde{\beta}_0 + \sum_j(a_{j}x_{ij}+b_{j})\tilde{\beta}_j=\beta_0+\sum_jx_{ij}\beta_j$ 場所

\begin{array}{cc} β_{0} = {\tilde{β}}_{0} + \sum_{j} b_{j} {\tilde{β}}_{j} & β_{j} = a_{j} {\tilde{β}}_{j} \end{array}

$\begin{array}{c c}\beta_0=\tilde{\beta}_0+\sum_jb_{j}\tilde{\beta}_j & \;\;\;\;\;\; & \beta_j=a_j\tilde{\beta}_j \end{array}$

理論的には、パラメーターはまったく違いをないことがわかります。線形予測子が変更されていないため、（）選択は同じ可能性につながります。X行列を主成分（回転を含む）で表すなど、より複雑な線形変換でも機能します。そのため、結果を逆変換して、解釈に必要なベータを取得できます。 $a_j,b_j$ $a_j=0$

— 確率論的
ソース

素晴らしい理論的証明。正規化がなければ、オッズ比は実際に意味があります。ただし、開業医はこれらのオッズ比を使用してその特徴の重要度を評価する場合があります。特徴は重要であるが、大きな範囲で変動し、したがって低いオッズ比を持つ可能性があるため、誤解を招くことがあります。正規化を使用すると、実際的な意味を失っても、すぐに比較できます。もちろん、機能の重要性を評価するために統計的検定を行わなければなりません。

— Simone