ロジスティック回帰-エラー期間とその分布

31

ロジスティック回帰（およびその想定される分布）にエラー用語が存在するかどうかについて、さまざまな場所で次のことを読みました。

エラー用語は存在しません
エラー項には二項分布があります（応答変数の分布に従って）
エラー項にはロジスティック分布があります

誰かが明確にできますか？

— user61124
ソース

6

ロジスティック回帰では（実際にはGLMはもっと一般的ですが）、観測を「平均+エラー」と考えるのは一般的に役に立ちません。条件付き分布の観点から考えるのが適切です。「エラー用語が存在しない」と言うまでは、「それらの用語で考えるのは役に立たない」とは言いません。したがって、一般的に「上記のどれでもない」と言う方が良いと言うので、1と2の間の選択だとはあまり言いません。ただし、「1」を主張する程度に関係なく。または「2.」、ただし「3」。間違いです。どこでそれを見ましたか？

y_{i} | x

$y_i|\mathbf{x}$

— グレン_b-モニカーを復活14

1

@Glen_b：1つは（2）を主張するかもしれませんか？私は人々がそれを言うことを知っていますが、質問されたときにそれを弁護することはありません。

— Scortchi-モニカの復職

3

@Glen_b 3つのステートメントはすべて、真である建設的な解釈をしています。（3）はen.wikipedia.org/wiki/Logistic_distribution#Applicationsおよびen.wikipedia.org/wiki/Discrete_choice#Binary_Choiceで対処されています。

— whuber

@whuber：私の答えwrt（3）を修正しましたが、よく考えられていませんでした。しかし、どのような意味で（2）が正しいのか、まだ戸惑っています。

— Scortchi-モニカの復職

2

@Scortchi（2）は間違っていますが、観測値とその期待値の差が期待値によって変換された二項分布であると解釈する場合、それは（ごく）正しいでしょう。（2）の括弧付きの説明は、これが意図した解釈であることを強く示唆しています。Hosmer＆Lemeshowで説明されているおよび逸脱エラー用語など、他の有用な「エラー用語」も定義できることに注意してください（そして、そこで議論されている適切な注意事項に従って、それらの正方形は近似の分布を持っています）。

χ^{2}

$\chi^2$

χ^{2}

$\chi^2$

— whuber

25

線形回帰では、観測値は、予測値を条件とする平均パラメーターを持つガウス分布に従うと想定されます。観測値から平均値を引くと、エラーが発生します。平均値ゼロのガウス分布で、予測値とは無関係です。つまり、予測値のセットでの誤差は同じ分布に従います。

ロジスティック回帰観察でベルヌーイ分布従うと仮定される^†予測値の条件付き平均パラメータ（確率）とします。だから、平均を決定する任意の予測値のために：2つだけの可能なエラーが発生した確率で発生、＆確率で発生。他の予測値の誤差になります確率で発生します $y\in\{0,1\}$ $\pi$ $1-\pi$ $\pi$ $0-\pi$ $1-\pi$ $1-\pi'$ $\pi'$ 、＆確率で発生。そのため、予測値とは独立した一般的なエラー分布はありません。そのため、人々は「エラー項は存在しません」と言います（1）。 $0-\pi'$ $1-\pi'$

「誤差項には二項分布があります」（2）は単なるずさんです-「ガウスモデルにはガウス誤差があり、エルゴ二項モデルには二項誤差があります」。（または、@ whuberが指摘しているように、「観測値とその期待値の差は、期待値によって変換された二項分布を持っている」という意味に解釈することができます。）

「誤差項にはロジスティック分布があります」（3）は、ロジスティック分布に続くエラーのある潜在変数がしきい値を超えるかどうかを観察するモデルからのロジスティック回帰の導出から生じます。したがって、上記で定義したエラーとは異なります。（そのコンテキストの外で、または潜在変数への明示的な参照なしでIMOを言うのは奇妙に思えます。）

† 同じ予測値を持つ観測値があり、それぞれに同じ確率与えられている場合、それらの合計は確率およびnoの二項分布に従います。トライアルの。考慮 $k$ $\pi$ $\sum y$ $\pi$ $k$ 同じ結論にエラーリード線などを。 $\sum y -k\pi$

— スコルチ-モニカの復職
ソース

1

「エラー用語が存在しない」という部分に関する簡単な例を教えてください。私はそれが書かれている方法を理解するのに苦労しています。

— quirik

@Scortchi実際にモデルをあるしきい値、たとえば0.5で使用すると、ケースを追跡できません。この場合、エラーは1または0のいずれかになります。これは、真のラベルが1の場合、パラメーター1-

ベルヌーイ確率変数と見なすことができますか？

π

$\pi$

— ワビット

17

これについては前に説明しました。値を予測しているように制約されるモデル、おそらく予測が外に出てしまい添加誤差項はできません。バイナリロジスティックモデルの最も単純な例、つまり切片のみを含むモデルを考えてください。これは、（1）すべての情報がサンプルサイズとイベント数に含まれているか、（2）ベルヌーイ分布が特殊なケースであるため、しばしば（この単純な場合）二項問題と呼ばれるベルヌーイ1サンプル問題と同等です。二項分布の $[0,1]$ $[0,1]$ $n=1$ 。この状況での生データは一連のバイナリ値であり、それぞれがイベントの確率を表す未知のパラメーター持つベルヌーイ分布を持ちます。ベルヌーイ分布には誤差項はありません。未知の確率があります。ロジスティックモデルは確率モデルです。 $\theta$

— フランク・ハレル
ソース

9

私にとって、ロジスティック、線形、ポアソン回帰などの統一は、常に一般化線形モデルフレームワークでの平均と分散の仕様の観点からでした。データの確率分布、連続データの正規分布、二項のベルヌーイ、カウントのポアソンなどの確率分布を指定することから始めます。次に、平均値と線形予測子の関係を記述するリンク関数を指定します。

$g(\mu_i) = \alpha + x_i^T\beta$

線形回帰のための $g(\mu_i) = \mu_i$ 。

ロジスティック回帰のために、。 $g(\mu_i) = \log(\frac{\mu_i}{1-\mu_i})$

ポアソン回帰のために、。 $g(\mu_i) = \log(\mu_i)$

エラー用語の記述に関して考慮することができる唯一のことは、以下を述べることです。

ここでと。例えば、ロジスティック回帰のために、 $y_i = g^{-1}(\alpha+x_i^T\beta) + e_i$ $E(e_i) = 0$ $Var(e_i) = \sigma^2(\mu_i)$ 前述のようにがベルヌーイ分布を持っている。。ただし、明示的に述べることはできません。 $\sigma^2(\mu_i) = \mu_i(1-\mu_i) = g^{-1}(\alpha+x_i^T\beta)(1-g^{-1}(\alpha+x_i^T\beta))$ $e_i$

ただし、基本的な一般化線形モデルは、分布の平均と分散の構造のみを想定していることに注意してください。推定方程式とヘッセ行列は、モデルで想定する平均と分散のみに依存することが示されます。したがって、このモデルのの分布に必ずしも関係する必要はありません。高次のモーメントがモデルパラメーターの推定に関与しないためです。 $e_i$

— hard2fathom
ソース

0

エラーはありません。平均をモデル化しています！平均値は単なる真の数値です。
これは私には意味がありません。
応答変数を潜在変数と考えてください。エラー項が正規分布していると仮定すると、モデルはプロビットモデルになります。エラー項の分布がロジスティックであると仮定した場合、モデルはロジスティック回帰です。

— リュー・ジム
ソース

2

これが確率モデルの理解にどのように役立つかはわかりません。確率モデルは、見かけよりも単純です。

— フランクハレル