リッジ回帰のPRESS統計

通常の最小二乗法では、一連の予測子に対してターゲットベクトル回帰し、ハット行列は次のように計算されます。 $y$ $X$

H = X (X^{t} X)^{- 1} X^{t}

$H = X (X^tX)^{-1} X^t$

PRESS（予測残差平方和）は、

S S_{P} = \sum_{i} {(\frac{e_{i}}{1 - h_{i i}})}^{2}

$SS_P = \sum_i \left( \frac{e_i}{1-h_{ii}}\right)^2$

ここで、は番目の残差、はハット行列の対角要素です。 $e_i$ $i$ $h_{ii}$

ペナルティ係数したリッジ回帰では、ハット行列は次のように変更されます。 $\lambda$

H = X (X^{t} X + λ I)^{- 1} X^{t}

$H = X (X^t X + \lambda I)^{-1} X^t$

PRESS統計は、修正されたハットマトリックスを使用して同じ方法で計算できますか？

regression cross-validation ridge-regression

— クリス・テイラー
ソース

回答:

はい、私はこの方法をカーネルリッジ回帰によく使用します。これはリッジパラメーターを選択する良い方法です（たとえば、この論文[doi、プレプリント]を参照）。

計算が正準形式で実行される場合（このペーパーを参照）、最適なリッジパラメーターの検索を非常に効率的に行うことができます。この場合、対角行列の逆が必要になるようにモデルが再パラメーター化されます。

— ディクラン有袋類
ソース

ありがとう。経験上、PRESSを使用してリッジパラメーターを選択した場合、テストセットの実際の予測誤差は、トレーニングセットの測定されたPRESSとどのように比較されますか？おそらく（PRESS / n）は予測エラーの過小評価ですが、実際には信頼できますか？

— クリステイラー

PRESSはほぼ偏りがなく、それに関する本当の問題は分散です。これは、それが評価される特定のデータのサンプルに依存して多くの変動があることを意味します。これは、モデル選択でPRESSを最適化すると、モデル選択基準に適合しすぎて、結果として貧弱なモデルになる可能性があることを意味します。しかし、私が関心を持っているモデルのタイプ（カーネル学習法）の場合、それはかなり効果的であり、分散問題は、よりうまく機能すると予想される他の基準よりもはるかに悪くはないようです。

— Dikran Marsupial 2012

疑わしい場合は、リッジ回帰に加えて、バギングを一種の「ベルトアンドブレース」アプローチとして使用して、過剰適合を回避できます。

— Dikran Marsupial

ご協力いただきありがとうございます！たとえば、Wikipediaの記事で主張されているように、バギングによって線形モデルが改善されないという印象を受けましたか？明確にできますか？

— クリステイラー

問題ない。ウィキペディアの記事は間違っていると思います。線形回帰でのサブセット選択は、BriegingがBaggingに関する最初の論文で使用した例の1つです。サブセット選択のない最小二乗線形回帰は、バギングの影響を漸近的に受けない可能性がありますが、それでも、それがより一般的に線形モデル（ロジスティック回帰など）に当てはまるとは思えません。

— Dikran Marsupial 2012

L2正則化を適用してPRESS統計を取得するには、次の方法を使用できます。この方法では、データ拡張アプローチを使用します。

YのN個のサンプルがあり、K個の説明変数X1、X2 ... Xk .... XKがあるとします。

Nサンプルに1を超える変数X0を追加します。
K個の追加サンプルで増強：
- Kの各サンプルのY値は0です。
- KサンプルのそれぞれのX0値は0です。
- Xk値は、対角線上にある場合はSQRT（Lambda * N）* [Nサンプル上のSTDEV（Xk）]であり、それ以外の場合は0です。
現在、N + K個のサンプルとK + 1個の変数があります。通常の線形回帰は、これらの入力で解決できます。
これは1つのステップで行われる回帰であるため、PRESS統計は通常どおりに計算できます。
Lambda正則化入力を決定する必要があります。Lambadaのさまざまな入力のPRESS統計を確認すると、適切な値を決定するのに役立ちます。

— ジェームズ65
ソース