リッジ回帰のAIC：自由度とパラメーターの数

リッジ回帰モデルのAICcを計算します。問題はパラメーターの数です。線形回帰の場合、ほとんどの人は、パラメーターの数が推定係数とシグマ（誤差の分散）の数に等しいことを示唆しています。

リッジ回帰に関しては、ハットマトリックスのトレース（自由度（df））がAIC式のパラメーターの項の数として単純に使用されることを読みました（たとえばhereまたはhere）。

これは正しいです？dfを使用してAICcを計算することもできますか？エラー分散を説明するために、dfに+1を追加することはできますか？

— ジュリアン
ソース

AICcの一般的な入力はRSS、k、およびnであるため、この質問が気に入っていますが、同じ数のパラメーターに対して最小誤差モデルよりも堅牢なモデルを選択しない傾向があります。候補モデルに同じ近似アプローチを使用し、同じデータに近似する場合、モデル選択はモデル選択です。私は、同じモデルとデータを使用して、最小二乗誤差やフーバー損失などの異なる適合タイプを使用して、情報理論的な最適適合をどのように測定するのかという質問が好きです。

— EngrStudent-モニカの復活

@EngrStudent、ほんの小さなメモ：RSSは通常の尤度の特殊なケースです。異なる（非正規）分布が想定される場合、AICにはRSSが含まれず、モデルの対数尤度が含まれます。また、適合タイプ：モデルの評価に使用される損失関数、またはモデルの適合に使用される損失関数、または他の何かを意味しますか？

— リチャードハーディ

参照： web.mit.edu/lrosasco/www/publications/model_focm.pdf

— kjetil b halvorsen

@RichardHardy-あなたは通常の可能性について正しいです！実際には、中心極限定理は使いすぎになります。この場合、「フィット関数」と言って「損失関数」と言ったときも同じ意味でした。私は、最初に擬似逆数とエラーメトリックの観点から最小二乗を考えます。それは、私の思考とコミュニケーションのプロセスにおける「学習のシーケンス」アーティファクトです。

— EngrStudent-モニカの復活

@EngrStudent、ありがとう。また、損失関数には、フィッティング（推定量の導出元の経験的目的関数）と評価（最適化する理論的目的関数）の2つの用途があります。

— リチャードハーディ

AICとリッジ回帰は、特定の仮定が行われたときに互換性を持たせることができます。ただし、リッジ回帰の収縮を選択する単一の方法はないため、AICを適用する一般的な方法はありません。リッジ回帰はTikhonov正則化のサブセットです。ティホノフ正則、例えばのための平滑化要因の選択に適用することができ、多くの基準がありますが、ご覧にこれを。そのコンテキストでAICを使用するために、その正則化、条件の悪い逆問題の解決のための情報の複雑さに基づく正則化パラメーターの選択を実行する方法についてかなり具体的な仮定を行う論文があります。具体的には、これは

$\sigma ^2$ $p(x) =$

$b$ $\left [ \dfrac{\text{SD}(b)}{b}\right ]$

GD (t; a, b) = \frac{1}{t} \frac{e^{- b t} (b t)^{a}}{Γ (a)}; t \geq 0,

$\text{GD}(t; a,b) = \,\dfrac{1}{t}\;\dfrac{e^{-b \, t}(b \, t)^{\,a} }{\Gamma (a)} \;\; \;;\hspace{2em}t\geq 0 \;\; \;\;,\\ %\tabularnewline$

$[0,\infty)$ $[t_1,t_n]$ 時間サンプル。明確にするために、これはAUCが不適切な積分であるため行われます。そうでなければ、たとえばMLを使用すると、ガンマ分布の適合にはロバスト性が欠けます。したがって、その特定のアプリケーションでは、最尤値、つまりAICは実際には無関係です。（AICは予測に使用され、BICは適合度に使用されると言われています。ただし、予測と適合度はどちらもAUCのロバストな測定に間接的に関連しているだけです。）

$df$ $\lambda$ $df = p$ $\lambda = 0$ $df = 0$ $\lambda=\infty$ $df$ $df$ $\infty$ $df$

$df_{ridge}= \sum(\lambda_i / (\lambda_i + \lambda$ $\lambda_i$ $X^{\text{T}} X$ $df$

— カール
ソース