ロジスティック回帰の係数には意味がありますか？

いくつかの機能からバイナリ分類の問題があります。（正規化された）ロジスティック回帰の係数には解釈可能な意味がありますか？

特徴が事前に正規化されていれば、影響の大きさを示すことができると思いました。しかし、私の問題では、係数は選択した機能に敏感に依存するようです。係数の符号でさえ、入力として選択された異なる特徴セットによって変化します。

係数の値を調べ、最も意味のある係数を見つけて、その意味を言葉で述べる正しい方法は何ですか？一部の適合モデルと係数の符号は間違っていますか？たとえデータに適合した場合でも？

（機能間で最も高い相関関係は0.25だけですが、それは確かに役割を果たしますか？）

出力からの係数には意味がありますが、ほとんどの人にとってはあまり直感的ではなく、私にとっても確かではありません。それが人々がそれらをオッズ比に変える理由です。ただし、オッズ比の対数は係数です。同様に、指数係数はオッズ比です。

係数は、従属変数の各レベルに存在する予測確率を与える数式にプラグインするのに最も役立ちます。

例えば R

library("MASS")
data(menarche)
glm.out = glm(cbind(Menarche, Total-Menarche) ~ Age,
                family=binomial(logit), data=menarche)

summary(glm.out)

年齢のパラメータ推定値は1.64です。これは何を意味するのでしょうか？さて、これを切片のパラメーター推定値（-21.24）と組み合わせると、初潮の可能性を予測する式を取得できます。

$P(M) = \frac{1}{1 + e^{21.24 - 1.64*age}}$

$e^{1.64} = 5.16$

係数を直接解釈することは難しく、誤解を招く可能性があります。変数間で重みがどのように割り当てられるかについての保証はありません。

あなたが説明する状況に似た簡単な例：私はユーザーとウェブサイトの相互作用のモデルに取り組んできました。このモデルには、ユーザーセッションの最初の1時間と2時間目の「クリック」の数を表す2つの変数が含まれていました。これらの変数は互いに非常に相関しています。それらの変数の両方の係数が正の場合、私たちは簡単に誤解を招き、係数が高いほど「高い」重要性を示すと信じることができます。ただし、他の追加/削除によって変数は、最初の変数が正の符号を持ち、他の変数が負の符号を持つモデルで簡単に終わる可能性があります。私たちがやった理由は、利用可能な変数のほとんどのペア間にいくつかの重要な（低いとはいえ）相関があるため、係数を使用して変数の重要性について安全な結論を得ることができなかったということですこの解釈は正しいです）。

解釈しやすいモデルを取得したい場合は、Lasso（L1ノルムの最小化）を使用します。変数の相互相関が低いと、スパースソリューションにつながります。ただし、このアプローチでは、前の例の両方の変数を簡単に選択することはできません。一方はゼロ補正です。

特定の変数または変数セットの重要性を評価したいだけの場合は、機能選択アプローチを直接使用することをお勧めします。そのようなアプローチは、はるかに意味のある洞察につながり、何らかの基準に基づいた変数の重要性のグローバルなランキングにさえつながります。

係数には、確かに意味があります。一部のソフトウェアパッケージでは、2種類の係数のいずれかを生成するために、2つの方法のいずれかでモデルを指示できます。たとえば、Stataでは、Logisticコマンドまたはlogitコマンドのいずれかを使用できます。一方を使用する場合、モデルは従来の係数を提供し、他方を使用する場合、モデルはオッズ比を提供します。

一方の方が他方よりはるかに有意義であることに気付くかもしれません。

「...係数は感度に依存するようだ...」という質問について。

結果は、モデルにどの変数を入れたかによって異なると言っていますか？

もしそうなら、はい、これは回帰分析を行う際の現実です。これは、回帰分析が多数の数値を調べて、自動的に計算するためです。

結果は、変数が互いにどのように関係しているか、およびどの変数が測定されていないかによって異なります。それは科学であると同時に芸術でもあります。

さらに、サンプルサイズと比較してモデルの予測子が多すぎる場合、兆候は狂ったように反転する可能性があります-これは、モデルがそれらの推定値を「調整」するために小さな効果を持つ変数を使用していると考えている大きな効果があります（小さなキャリブレーションを行う小さなボリュームノブなど）。これが起こるとき、私は小さな効果の変数を信用しない傾向があります。

一方、原因となる真実に近づいているため、新しい予測変数を追加すると、最初に兆候が変わる可能性があります。

たとえば、グリーンランドブランデーは健康に悪いかもしれませんが、収入は健康に良いと想像してみましょう。収入が省略され、より裕福な人々がブランデーを飲む場合、モデルは省略された収入の影響を「拾い上げ」、アルコールがあなたの健康に良いと「言う」かもしれません。

それについて疑う余地はありません、係数が含まれる他の変数に依存することは人生の事実です。詳細については、「省略された変数バイアス」と「偽の関係」を調べてください。これまでにこれらのアイデアに出会ったことがない場合は、ニーズに合った統計コースの紹介を見つけてみてください-これはモデルの実行に大きな違いをもたらす可能性があります。