GLMが変換された変数を持つLMと異なる理由

16

このコースの配布資料（ページ1）で説明されているように、線形モデルは次の形式で記述できます。

y = β_{1} x_{1} + \dots + β_{p} x_{p} + ε_{i},

$y = \beta_1 x_{1} + \cdots + \beta_p x_{p} + \varepsilon_i,$

ここで、 $y$ は応答変数、 $x_{i}$ は $i^{th}$ 説明変数です。

多くの場合、テストの前提を満たす目的で、応答変数を変換できます。たとえば、各 $y_i$ 対数関数を適用します。応答変数の変換は、GLMの実行と同等ではありません。

GLMは、次の形式で記述できます（コースの配布資料（3ページ）から）

g (u) = β_{1} x_{1} + \dots + β_{p} x_{p} + ε_{i},

$g(u) = \beta_1 x_{1} + \cdots + \beta_p x_{p} + \varepsilon_i,$

ここで、は単なる別の記号であり、コースの配布資料の2ページから理解できます。はリンク関数と呼ばれます。 $u$ $y$ $g()$

コース内のスライドから変換された変数を使用したGLMとLMの違いを本当に理解していません。それで私を助けてもらえますか？

— Remi.b
ソース

2

バイナリの結果のすべての変換がアフィンであるという事実を考慮することは明らかになるかもしれません。それにより、通常の最小二乗回帰に制限されます。これは明らかに、ロジスティック回帰（バイナリ応答の標準GLM）が達成していることではありません。（証明：結果の値はとして符号化とする

及び

およびlet

任意の変換であるライティング。

と

我々は発見

上に同意

y_{0}

$y_0$

y_{1}

$y_1$

ϕ

$\phi$

z_{0} = ϕ (y_{0})

$z_0=\phi(y_0)$

z_{1} = ϕ (y_{1})

$z_1=\phi(y_1)$

ϕ

$\phi$

と

（のアフィン変換であり、

）ここで、

と

）。

{y_{0}, y_{1}}

$\{y_0,y_1\}$

y \to λ y + μ

$y\to \lambda y + \mu$

y

$y$

λ = (z_{1} - z_{0}) / (y_{1} - y_{0})

$\lambda=(z_1-z_0)/(y_1-y_0)$

μ = z_{0} - λ y_{0}

$\mu=z_0-\lambda y_0$

— whuber

15

線形回帰を行う前に応答を変換すると、次のようになります。

E (g (Y)) \sim β_{0} + β_{1} x_{1} + \dots + β_{p} x_{p}

$E(g(Y)) \sim \beta_0 + \beta_1x_1 + \ldots + \beta_px_p$

ここで、は特定の関数であり、には特定の分布（通常は正規分布があると仮定します。 $g$ $g(Y)$

一般化線形モデルがこれを実行しています：

g (E (Y)) \sim β_{0} + β_{1} x_{1} + \dots + β_{p} x_{p}

$g(E(Y)) \sim \beta_0 + \beta_1x_1 + \ldots + \beta_px_p$

ここで、は以前と同じであり、には所定の分布があると仮定します（通常は正規ではありません）。 $g$ $Y$

— 大井紅
ソース

方程式のEは何ですか？

— user1406647

1

の期待値の標準表記で

。

E (X)

$E(X)$

X

$X$

— マーカスPS

私もこれが役に立ちました：christoph-scherber.de/content/PDF%20Files/…–

— アディティア

22

これがあなたにとって完全な答えを構成するかどうかはわかりませんが、概念的なログジャムを解消するのに役立つかもしれません。

アカウントに2つの誤解があるようです。

通常の最小二乗（OLS-'linear'）回帰は、一般化線形モデルの特殊なケースであることに注意してください。したがって、「[t]応答変数の変換はGLMの実行と同じではありません」と言うとき、これは正しくありません。線形モデルの適合または応答変数の変換と線形モデルの適合の両方が、「GLMの実行」を構成します。
$u$ $\mu$ $X$ $u$ $y$ 「これも間違っています。OLSの定式化では、 $Y$ ランダム変数および/または $y_i$ の実現値です $Y$ 観察/学習ユニット用 $i$ 。あれは、 $y$ （より一般的に）パラメーターではなくデータを表します。

（私は間違いを心配するつもりはありませんが、これらがあなたの混乱を引き起こしているのではないかと疑っています。）
また、一般化線形モデルには、言及していない別の側面もあります。それは、応答分布を指定することです。OLS回帰の場合、応答分布はガウス（正規）であり、リンク関数は恒等関数です。たとえば、ロジスティック回帰の場合（人々がGLMについて考えるときに最初に考えるものかもしれません）、応答分布はベルヌーイ（/二項）であり、リンク関数はロジットです。変換を使用してOLSの前提条件が満たされていることを確認する場合、条件付き応答分布を許容できるほど正常にしようとすることがよくあります。ただし、このような変換では、ベルヌーイ分布は許容できるほど正常になりません。

— gung - Reinstate Monica
ソース