完全分離の問題をどのように説明して提示するか？

ロジスティック回帰との仕事は完全な分離の問題に精通している人々：あなたは2つの結果の一つだけに関連付けられているの変数の特定の値を持っている場合（バイナリが言う持つすべての観測よう持っている結果= 1 ）、可能性が爆発し、最尤推定値が無限大になります。Rでは、完全な予測/分離以外の理由で完全な予測エラーメッセージが表示される可能性があるため、これを非常にうまく処理できる場合とそうでない場合があります。Stataでは、そのような変数と問題のある値を識別し、それらを分析から破棄します。 $x$ $x=1$ glmlogit

私の質問は、あなたが完全に分離している場合に何をすべきかとは異なります。変数を再コード化することで処理できること（変数はすべてカテゴリなので、単純にカテゴリを組み合わせることができます）。

代わりに、これを説明する一般的な方法は何でしょうか。私は約50％の割合が「陽性」である約100人の患者のデータセットを持っています。人口統計変数のいくつかのカテゴリは、この完璧な予測を生成します。7人すべての緑色の目の人々が「肯定的な」結果を持っているとだけ言いましょう。これは、サンプルサイズが1000で緑色の目が70人の場合に消える小さなサンプルの特徴かもしれませんが、臨床的に意味があるかもしれません。オッズ比が高い「ポジティブ」な結果。

したがって、ベイジアン法またはその他の収縮法を使用したと言ってもいいのですが、その方法を説明する際に、完全な予測/分離ができたことを認める必要があり、さらに高度な手法を見つけて結果を得る必要がありました。すべて。ここで使用するのに適した言語は何ですか？

logistic separation

— StasK
ソース

関連：ファースロジスティック回帰の理論的理解を求める

— smci

1つの視点は、ここを参照してください： stats.stackexchange.com/questions/254124/...

— はKjetil B Halvorsenの

無回答の質問で私の発掘活動を行っているときに、私はこれが非常に賢明なものであることを発見しました。おそらくこれまでに、OPは回答を見つけました。
しかし、ロジスティック回帰の完全分離の問題に関して、私自身にさまざまな質問があり、文献の（迅速な）検索ではそれらに答えられないようだと気付きました。それで、私は自分の小さな研究プロジェクトを開始することを決めました（おそらく車輪を再発明する）、そしてこの答えでその予備的な結果のいくつかを共有したいと思います。これらの結果は、完全分離の問題が純粋に「技術的な」問題であるのか、それともより直感的な説明/説明を与えることができるのかを理解するのに役立つと思います。

私の最初の懸念は、現象の背後にある一般的な理論ではなく、アルゴリズムの用語で現象を理解することでした。その条件下で、最尤推定アプローチは、完全な現象のリグレッサを含むデータサンプルが与えられた場合に「ブレークダウン」します分離は存在しますか？

予備的な結果（理論的およびシミュレーション）は次のことを示しています
。1）ロジット仕様に定数項が含まれているかどうかが重要です。
2）問題のリグレッサが二分法（サンプル内）であるかどうかが重要です。
3）二分法の場合、値がかどうかが問題になる場合があります。 4）他のリグレッサが仕様に含まれているかどうかが重要です。 5）上記の4つの問題をどのように組み合わせるかが重要です。 $0$

ここで、MLEを破壊するために完全に分離するための一連の十分な条件を提示します。これは、さまざまな統計ソフトウェアが現象を警告するかどうかとは関係ありません。最尤推定を実行する前にデータサンプルをスキャンすることで警告する場合があります。私は、最尤推定が始まる場合と、その過程でいつ崩壊するかについて心配しています。

「通常の」バイナリ選択ロジスティック回帰モデルを想定する

P (Y_{i} ∣ β_{0}, X_{i}, z_{i}) = Λ (g (β_{0}, x_{i}, z_{i})), g (β_{0}, x_{i}, z_{i}) = β_{0} + β_{1} x_{i} + z_{i}^{'} γ

$P(Y_i \mid \beta_0, X_i, \mathbf z_i) = \Lambda (g(\beta_0,x_i, \mathbf z_i)), \;\; g(\beta_0,x_i, \mathbf z_i) = \beta_0 +\beta_1x_i + \mathbf z_i'\mathbf \gamma$

は完全な分離を備えたリグレッサであり、は完全な分離を特徴としない他のリグレッサのコレクションです。また $X$ $\mathbf Z$

Λ (g (β_{0}, x_{i}, z_{i})) = \frac{1}{1 + e^{- g (β_{0}, x_{i}, z_{i})}} \equiv Λ_{i}

$\Lambda (g(\beta_0,x_i, \mathbf z_i)) = \frac 1{1+e^{-g(\beta_0,x_i, \mathbf z_i)}}\equiv \Lambda_i$

サイズサンプルの対数尤度は $n$

\ln L = \sum_{i = 1}^{n} [y_{i} \ln (Λ_{i}) + (1 - y_{i}) \ln (1 - Λ_{i})]

$\ln L=\sum_{i=1}^{n}\left[y_i\ln(\Lambda_i)+(1-y_i)\ln(1-\Lambda_i)\right]$

MLEは、導関数をゼロに設定することで見つかります。特に欲しい

\begin{matrix} (1) & \sum_{i = 1}^{n} (y_{i} - Λ_{i}) = 0 \end{matrix}

$\sum_{i=1}^{n}(y_i-\Lambda_i) = 0 \tag{1}$

\begin{matrix} (2) & \sum_{i = 1}^{n} (y_{i} - Λ_{i}) x_{i} = 0 \end{matrix}

$\sum_{i=1}^{n}(y_i-\Lambda_i)x_i = 0 \tag{2}$

$X$

$y_1 =1$ $x_i = a_k$ $x_i$ $a_k$ $y_i=0$ $x_i = a_k$ $y_i=1$ $x_i \neq a_k$ $y_i=0$ $X$

$y_i =1$ $n_y$

\begin{matrix} (3) & n_{y} \equiv \sum_{i = 1}^{n} y_{i} = \sum_{y_{i} = 1} y_{i} \end{matrix}

$n_y \equiv \sum_{i=1}^ny_i = \sum_{y_i=1}y_i \tag{3}$

次に、eq次のように書き換えます。 $(1)$

\begin{matrix} (4) & n_{y} = \sum_{i = 1}^{n} Λ_{i} = \sum_{y_{i} = 1} Λ_{i} + \sum_{y_{i} = 0} Λ_{i} \Rightarrow n_{y} - \sum_{y_{i} = 1} Λ_{i} = \sum_{y_{i} = 0} Λ_{i} \end{matrix}

$n_y = \sum_{i=1}^n\Lambda_i = \sum_{y_i=1}\Lambda_i+\sum_{y_i=0}\Lambda_i \Rightarrow n_y - \sum_{y_i=1}\Lambda_i = \sum_{y_i=0}\Lambda_i \tag{4}$

$(2)$

\sum_{i = 1}^{n} y_{i} x_{i} - \sum_{i = 1}^{n} Λ_{i} x_{i} = 0 \Rightarrow \sum_{y_{i} = 1} y_{i} a_{k} + \sum_{y_{i} = 0} y_{i} x_{i} - \sum_{y_{i} = 1} Λ_{i} a_{k} - \sum_{y_{i} = 0} Λ_{i} x_{i} = 0

$\sum_{i=1}^{n}y_ix_i -\sum_{i=1}^{n}\Lambda_ix_i = 0 \Rightarrow \sum_{y_i=1}y_ia_k+\sum_{y_i=0}y_ix_i - \sum_{y_i=1}\Lambda_ia_k-\sum_{y_i=0}\Lambda_ix_i =0$

$(3)$

n_{y} a_{k} + 0 - a_{k} \sum_{y_{i} = 1} Λ_{i} - \sum_{y_{i} = 0} Λ_{i} x_{i} = 0

$n_ya_k + 0 - a_k\sum_{y_i=1}\Lambda_i-\sum_{y_i=0}\Lambda_ix_i =0$

\Rightarrow a_{k} (n_{y} - \sum_{y_{i} = 1} Λ_{i}) - \sum_{y_{i} = 0} Λ_{i} x_{i} = 0

$\Rightarrow a_k\left(n_y-\sum_{y_i=1}\Lambda_i\right) -\sum_{y_i=0}\Lambda_ix_i =0$

$(4)$

\begin{matrix} (5) & a_{k} \sum_{y_{i} = 0} Λ_{i} x_{i} - \sum_{y_{i} = 0} Λ_{i} x_{i} = 0 \Rightarrow \sum_{y_{i} = 0} (a_{k} - x_{i}) Λ_{i} = 0 \end{matrix}

$a_k\sum_{y_i=0}\Lambda_ix_i -\sum_{y_i=0}\Lambda_ix_i =0 \Rightarrow \sum_{y_i=0}(a_k-x_i)\Lambda_i=0 \tag {5}$

$X$ $(5)$

$y_i=0$ $x_i\neq a_k$
$X$ $(a_k-x_i) \neq 0$ $i$ $(5)$
$X$ $a_k$ $(a_k-x_i) \neq 0$ $i$ $(5)$

$\Lambda_i$ $(5)$ $\Lambda_i=0$ $i$

Λ_{i} = \frac{1}{1 + e^{- g (β_{0}, x_{i}, z_{i})}}

$\Lambda_i = \frac 1{1+e^{-g(\beta_0,x_i, \mathbf z_i)}}$

$\Lambda_i$ $0$ $g(\beta_0,x_i, \mathbf z_i) \rightarrow -\infty$ $g()$

$X$ $a_k$ $(5)$ $(a_k-x_i)$ $(5)$

そのようなサンプルが推定器などのプロパティに望ましくない結果を引き起こさないと言っているのではありません。そのような場合、推定アルゴリズムは通常どおり実行されることに注意してください。

$X$ $a_k$ $(1)$

— アレコスパパドプロス
ソース

g (\cdot)

$g(\cdot)$

\pm \infty

$\pm \infty$

x_{i} > a

$x_i > a$

Y_{i} = 1

$Y_i = 1$

x_{i} \leq a

$x_i \le a$

Y_{i} = 0

$Y_i = 0$ たとえば、特定の値と正確に等しいというよりは。

— StasK、2014

a_{k}

$a_k$

MLは、規則性の条件に違反すると機能しません。例えばこれを見てください。

— StasK、2014

仰るとおりです。私の投稿はそうではないことを主張していません。私がやろうとしたのは、通常の条件を満たすための試みによるMLE アルゴリズムの実際の実装が、完全な分離の下で数値的に失敗するときとそうでないときを「予測」することでした。しかし、私の投稿では、MLEアルゴリズムが結果を提供する場合に得られる実際の推定値の有用性/意味については説明していません。これは私の投稿で明確に書いています。私の例は警告として表示されます。「完全な分離が存在する場合でも、MLEアルゴリズムがそのように指示することを信頼しないでください。」

— Alecos Papadopoulos 2014

10^{- 8}

$10^{-8}$ glm