GLMの「リンク機能」と「正規リンク機能」の違いは何ですか

65

「リンク関数」と「標準リンク関数」という用語の違いは何ですか？また、一方を他方より使用する（理論的な）利点はありますか？

たとえば、バイナリ応答変数は、logitやprobitなどの多くのリンク関数を使用してモデル化できます。ただし、ここでのロジットは「標準的な」リンク関数と見なされます。

logistic generalized-linear-model link-function

— 安定した魚
ソース

10

ここでは、リンク関数について詳しく説明します。ロジットモデルとプロビットモデルの違い。バイナリ応答変数の回帰に焦点を当てています。その議論のほんの一部がリンク関数が「標準的」であることの意味に焦点を合わせていますが、それでも読むのに役立つかもしれません。正規リンク関数と非正規リンク関数の違いb / tと利点を理解するには、GLiMの基礎となる数学をかなり深く掘り下げる必要があることに注意してください。

— GUNG -モニカ元に戻し

68

上記の答えはより直感的であるため、より厳密に努めています。

GLMとは何ですか？

ましょう応答の組示し及び次元共変量ベクトル期待値と。用の独立した観測値は、それぞれの分布濃度の指数ファミリーである $Y=(y,\mathbf{x})$ $y$ $p$ $\mathbf{x}=(x_1,\dots,x_p)$ $E(y)=\mu$ $i=1,\dots,n$ $y_i$ ここで、関心（天然またはカノニカルパラメータ）のパラメータである、ありますスケールパラメーター（既知または迷惑と見なされる）およびとは既知の関数です。固定入力値の次元ベクトル

f (y_{i}; θ_{i}, ϕ) = \exp {[y_{i} θ_{i} - γ (θ_{i})] / ϕ + τ (y_{i}, ϕ)}

$f(y_i;\theta_i,\phi)=\exp\{[y_i\theta_i-\gamma(\theta_i)]/\phi+\tau(y_i,\phi)\}$

θ_{i}

$\theta_i$

ϕ

$\phi$

γ

$\gamma$

τ

$\tau$

n

$n$

p

$p$ 説明変数は

示されます。我々は、入力（1）のみ線形関数を介して、線形予測、影響力ベクトルと仮定

その上に

異なり。示されているように、

x_{1}, \dots, x_{p}

$\mathbf{x}_1,\dots,\mathbf{x}_p$

η_{i} = β_{0} + β_{1} x_{i 1} + \dots + β_{p} x_{i p}

$\eta_i=\beta_0+\beta_1x_{i1}+\dots+\beta_px_{ip}$

θ_{i}

$\theta_i$

θ = (γ^{'})^{- 1} (μ)

$\theta=(\gamma')^{-1}(\mu)$ 、この依存関係は、平均を介して線形予測子

と

を接続することによって確立されます。より具体的には、平均

は線形予測子の可逆で滑らかな関数、つまり

と見なされます。

η

$\eta$

θ

$\theta$

μ

$\mu$

g (μ) = η or μ = g^{- 1} (η)

$g(\mu)=\eta\ \textrm{or}\ \mu=g^{-1}(\eta)$

$g(\cdot)$ $\mu$ $\eta$ $\theta$ $\eta \equiv\theta$ $g=(\gamma')^{-1}$

$X'y$ $\sum_i x_{ij} y_i$ $j = 1, \dots, p$ $\mu$

したがって、デフォルトで使用される傾向があります。ただし、モデル内の効果が、このリンクまたは他のリンクによって与えられるスケールで加算的である必要があるという先験的な理由はないことに注意してください。

— もも
ソース

5

+1、これは本当に良い答えです、@ Momo。いくつかの方程式が段落に埋もれていると読みにくいことがわかったので、二重ドル記号（つまり$ $）を使用してそれらを「ブロック」しました。私はそれがOKであることを願っています（そうでない場合、あなたは私の謝罪なしでロールバックできます）。

— GUNG -モニカ元に戻し

1

ただし、元の質問の@Momoには、Weiが質問した内容が含まれているため、まだ明確に回答されていないことを指摘する価値があります。

— Glen_b 14

1

θ

$\theta$

η = θ

$\eta=\theta$

g (μ) = θ

$g(\mu)=\theta$

θ = (γ^{'})^{- 1} (μ)

$\theta=(\gamma')^{-1}(\mu)$

θ

$\theta$

θ \equiv μ

$\theta \equiv \mu$

g (.) = (γ^{'})^{- 1} (.)

$g(.)=(\gamma')^{-1}(.)$

1

γ^{'} (θ) = π = \frac{e x p (θ)}{1 + e x p (θ)}

$\gamma'(\theta) = \pi = \frac{exp(\theta)}{1+exp(\theta)}$

(γ^{'})^{- 1} (.) = logit(.)

$(\gamma')^{-1}(.) = \text{logit(.)}$

η = θ

$\eta = \theta$

g (.)

$g(.)$

θ = l o g i t (π) = η

$\theta = logit(\pi) = \eta$

θ

$\theta$

η

$\eta$ 正規リンク関数を使用する場合にのみ存在します。

— Druss2k

2

μ

$\mu$

θ

$\theta$

η \equiv θ

$\eta \equiv \theta$

16

gungは良い説明を引用しました：正規リンクは最小限の十分性の特別な理論的特性を持っています。つまり、結果の数を条件として条件付きロジットモデル（エコノミストは固定効果モデルと呼びます）を定義できますが、プロビットリンクで使用する十分な統計がないため、条件付きプロビットモデルを定義できません。

— StasK
ソース

最低限の十分性について少し詳しく説明していただけますか？上記の説明によって、プロビットモデルを定義できますか？確かに正規リンク関数ではありませんが、非正規リンク関数を使用することの害は何ですか。

— ピカチュカメレオン

9

以下に、MITの18.650クラスからヒントを得た小さな図を示します。これは、これらの機能間の関係を視覚化するのに役立つため、非常に便利です。@momoの投稿と同じ表記を使用しました。

$\gamma(\theta)$
$g(\mu)$

$g$

この図を使用すると、たとえば、ある方向から別の方向に簡単に移動できます。

η = g (γ (θ))

$\eta = g \left( \gamma(\theta)\right)$

θ = γ^{' - 1} (g^{- 1} (η))

$\theta = \gamma'^{-1}\left( g^{-1}(\eta)\right)$

正規リンク機能

$g$

γ^{- 1} \circ g^{- 1} = {(g \circ γ^{'})}^{- 1} = I

$\gamma^{-1} \circ g^{-1}= \left( g \circ \gamma' \right)^{-1} = I$

θ = η

$\theta = \eta$

— ザビエル・バレット・シコット
ソース

1

上記の答えは、私が言いたいことをすでにカバーしています。機械学習の研究者としてのいくつかのポイントを明確にするために：

リンク関数は、アクティベーション関数の逆に他なりません。たとえば、ロジットはシグモイドの逆数であり、プロビットはガウスの累積分布関数の逆数です。
$w^T x$ $w$ $x$

上記の議論は指数関数的な家族とは何の関係もありませんが、素晴らしい議論はクリストファー・ビショップのPRML本の第4.3.6章にあります。

— 張国軍
ソース