AICの「パラメーターの数」の意味

21

AICを計算するとき、

$AIC = 2k - 2 ln L$

kは「パラメーターの数」を意味します。しかし、パラメーターとして何が重要ですか？たとえば、モデルでは

$y = ax + b$

aとbは常にパラメーターとしてカウントされますか？インターセプトの値を気にしない場合、無視できますか、それともカウントされますか？

仮に

$y = a f(c,x) + b$

どこ Cとxの関数である、私は今、3つのパラメータを数えるのですか？ $f$

aic

— サイドショーボブ
ソース

9

微妙な点があるため、これは良い質問ですは推定される識別可能なパラメーターの数です。たとえば、回帰モデル 5つのパラメーターが記述されていますが、それでもです。（このモデルはとおよびであり、明示的に4つのパラメーターのみが必要です。。）

k

$k$

Y \sim N (β_{0} + β_{1} X_{1} + β_{2} X_{2} + β_{3} (X_{1} + X_{2}), σ^{2})

$Y\sim\mathcal{N}(\beta_0+\beta_1X_1+\beta_2X_2+\beta_3(X_1+X_2), \sigma^2)$

k = 4

$k=4$

Y \sim N (β_{0} + α_{1} X_{1} + α_{2} X_{2}, σ^{2})

$Y\sim\mathcal{N}(\beta_0+\alpha_1X_1+\alpha_2X_2, \sigma^2)$

α_{1} = β_{1} + β_{3}

$\alpha_1=\beta_1+\beta_3$

α_{2} = β_{2} + β_{3}

$\alpha_2=\beta_2+\beta_3$

— whuber

3

厳密には、識別可能なすべての無料パラメーター（平均パラメーター、形状およびスケールパラメーターなど）をカウントします（AICにとって）が、AICの場合、比較するモデルに共通のパラメーターを省略しても意味はありません。したがって、たとえば回帰では、分散パラメーターをカウントする必要があります。したがって、私のカウントでは、質問内のすべてのパラメーターカウントは1つだけです。ただし、すべてのモデルに1つだけあれば、AICでドロップしても問題はありません。Rは、回帰モデルでAICを計算するときに、分散パラメーターを明示的にカウントします。

_{C}

$_C$

— Glen_b -Reinstateモニカ

@whuberなぜこの素晴らしいコメントが回答として投稿されないのですか？:)

— アレクシス14年

ありがとう、@アレクシス。この考えはPシュネルの回答で十分にカバーされているため、この考えをコメントとして投稿しました。もう少し強調したいだけです。

— whuber

17

mugenが述べたように、は推定されたパラメーターの数を表します。つまり、モデルを完全に指定するために知る必要がある追加の数量の数です。単純な線形回帰モデルではあなたは推定することができ、、またはその両方を。見積もらない数量は修正する必要があります。パラメータを知らず、気にしないという意味で、パラメータを「無視」することはありません。と両方を推定しない最も一般的なモデルは、インターセプトなしモデルで、を修正します。これには1つのパラメーターがあります。またはを簡単に修正できます $k$

y = a x + b

$y=ax+b$

a

$a$

b

$b$

a

$a$

b

$b$

b = 0

$b=0$

a = 2

$a=2$

b = 1

$b=1$ それが現実を反映していると信じる何らかの理由があるなら。（細かい点：は単純な線形回帰のパラメーターでもありますが、すべてのモデルに存在するため、AICの比較に影響を与えることなくドロップできます。）

σ

$\sigma$

モデルがの場合、パラメーターの数は、これらの値のいずれかを修正するかどうか、およびの形式に依存します。たとえばを推定であることがわかっている場合、モデルを書き出すと、3つの未知のパラメーターを持つ得られます。もし、しかし、、我々はモデル有する実際には二つのパラメータがあります

y = a f (c, x) + b

$y=af(c,x)+b$

f

$f$

a, b, c

$a, b, c$

f (c, x) = x^{c}

$f(c,x)=x^c$

y = a x^{c} + b

$y=ax^c+b$

f (c, x) = c x

$f(c,x)=cx$

y = a c x + b

$y=acx+b$

および

。

a c

$ac$

b

$b$

がによってインデックス付けされた関数のファミリーであることが重要です。が連続的であり、と依存していることしかわからない場合、無数の連続関数が存在するため、運が悪いです。 $f(c,x)$ $c$ $f(c,x)$ $c$ $x$

— Pシュネル
ソース

2

（+1）「推定」全体を通じて「最尤法による推定」を意味することに言及する価値があります。

— Scortchi -復活モニカ

f (c, x)

$f(c,x)$

c

$c$

c

$c$

r^{2}

$r^2$

c

$c$

2

@SideshowBob：はい-2つのモデルを比較すると、最大化された対数尤度の差は、予想されるKullback-Leibler情報損失の差の偏った推定量であり、AICのペナルティ項はその偏りをほぼ修正します。

— Scortchi -復活モニカ

1

@SideshowBob：一般化された推定方程式などにAICの修正があることに言及する必要があります-それらは最大化された準尤度とやや複雑なペナルティ項を使用します。

— Scortchi -復活モニカ

4

$\mathit{AIC} = 2k - 2\ln(L)$

（こちらをご覧ください）

$k$

私はあなたの2番目の質問に答えるのに十分な知識がないと感じています。コミュニティの別のメンバーに任せます。

— ムゲン
ソース

1

λ

$\lambda$

1

はい、確かに。

— PA6OTA 14年

1

まず、AICに精通していない人にとっては、赤池情報量基準（AIC）は、モデルの「良さ」を比較するために設計された単純な指標です。

AICによると、同じ入力変数と応答変数に適用する2つの異なるモデル、つまり同じ問題を解決するために設計されたモデルを選択しようとすると、AICの低いモデルは「より良い」と見なされます。

$k$

c $f(c, x)$ $k$

— アリエルフ
ソース