相互検証（CV）および一般化された相互検証（GCV）統計

クロス検証（CV）統計と、線形モデル（通常のホモセダスティックエラーベクトル）。 $Y = X\boldsymbol\beta + \boldsymbol\varepsilon$ $\boldsymbol\varepsilon$

一方では、Golub、Heath、WahbaはGCV推定値を（p。216） $\hat{\lambda}$

最小化 $V\left(\lambda\right)$ で与えられる
$V (λ) = \frac{\frac{1}{n} {‖ （私 - A （ λ ）） y ‖}^{2}}{{（ \frac{1}{n} t r （私 - A （ λ ）））}^{2}}$ $V\left(\lambda\right) = \frac{\frac{1}{n} \left\|\left(I - A\left(\lambda\right)\right)y\right\|^2}{\left(\frac{1}{n} \mathrm{tr}\left(I - A\left(\lambda\right)\right)\right)^2}$ ここで、 $A\left(\lambda\right) = X\left(X^T X + n\lambda I\right)^{-1} X^T$

一方、エフロンは $V\left(0\right)$ （p。24 と同じ概念を定義していますが、この概念の導入は、その定義（p。377）が本質的に同じであるCraven＆Wahbaに起因すると考えています。 Golub、Heath＆Wahbaの上記の定義として。

これは、 $0$ 最小化することを意味しますか？ $V\left(\lambda\right)$

同様に、Golub、Heath、Wahbaは CV推定 $\lambda$ （p。217 ）を

P (λ) = \frac{1}{n} \sum_{k = 1}^{n} {({[X β^{(k)} (λ)]}_{k} - y_{k})}^{2}

$P\left(\lambda\right) = \frac{1}{n}\sum_{k=1}^n \left(\left[X \beta^{(k)}\left(\lambda\right)\right]_k - y_k\right)^2$

ここで、 $\beta^{\left(k\right)}\left(\lambda\right)$ は推定値です

\hat{β} (λ) = {(X^{T} X + n λ I)}^{- 1} X^{T} y

$\hat{\beta}\left(\lambda\right) = \left(X^T X + n \lambda I\right)^{-1} X^T y$

$\beta$ と $k$ のデータポイントの第 $y_i$ 省略。

著者は、CV推定値（PRESS推定値とも呼ばれる）の導入がAllen（「Allen's PRESS」、同書）に起因すると考えています。しかし、Allenの論文では、PRESS推定値は $n P\left(0\right)$ （Efronの記事では、 $P\left(0\right)$ （p。24 と定義されています）。

繰り返しますが、これは $0$ 最小化することを意味しますか？ $P\left(\lambda\right)$

Allen、David M.変数選択とデータアグメンテーションの関係、および予測方法。Technometrics、Vol。16、No。1（1974年2月）、pp。125-127
クレイヴン、ピーターとワーバ、グレース。スプライン関数を使用したノイズの多いデータの平滑化。Numerische Mathematik 31、（1979）、pp。377-403
エフロン、ブラッドリー。ロジスティック回帰の見かけのエラー率はどの程度偏っていますか？テクニカルレポート番号 232.スタンフォード大学統計学部（1985年4月）
ゴラブ、ジーン・H、ヒース、グレース・ワバ。適切なリッジパラメーターを選択する方法としての一般化された交差検証。Technometrics、Vol。21、No。2（1979年5月）、pp。215-223

cross-validation

— エヴァン・アド
ソース

これはリッジ回帰に適合し、少なくとも二乗には適合しないことを言及するのを忘れましたか？私は完全に何について混乱していた私が一番下にある紙のタイトルを見たまでだった

λ

$\lambda$

— shadowtalker

タイトルのGeneralized Cross Validationを削除し、タイトルにRidge Regressionを追加します。ここで何GridSearchCV（）RidgeCVためのデフォルト（）：

— HoofarLotusX

コメントは答えを指し示していると思いますが、率直に言っているわけではありません。だから私は鈍くなります。

ここで引用されているV式は、線形リッジ回帰に固有のものです。彼らはそれがPRESSと同じであるとは言わず、彼らはそれがPRESSの回転不変バージョンであると言う。「回転不変」部分は、これを一般化するものです。

エフロンの論文は、その文脈に合わせてカスタマイズされたロジスティック回帰についてです。2つのコンテキスト間の数学の翻訳を見たい場合、読むべき正しい本は、Hastie、Tibshirani、およびFreedmanによる2dの統計学習の要素です。：彼らは、その本の自由、オンライン提供https://web.stanford.edu/~hastie/Papers/ESLII.pdfを。GCVに関するもう1つの参考資料は、Simon WoodによるGeneralized Additive Modelsです。彼の治療は、一般にGCVを回帰およびロジスティック回帰のアプリケーションと統合します。

ESLの本、p 244を見ると、基本的に同じシンボルが表示されます。彼らはあなたが持っているその大きな行列積をより滑らかな行列と呼んでいます（私はそれをハット行列、またはほぼ従兄弟と言います）。スムーザーは、からへのマッピングとして記述され $S$ $y$ $\hat{y}$

\hat{y} = S y

$\hat{y}=S y$

$S$ は、データの各行に1つずつ、1つのCV値を除外するために使用できます。以下のために線形モデル、行列は、回帰診断でハット行列の役割を果たしています。しかし、彼らはそれを計算するのは計算上困難であるか不要であるかもしれないと言い、GCVアプローチは同じ考えのもう少し一般的なバージョンです。 $S$

GCV の近似式を提供します：

G C V (\hat{f}) = \frac{1}{N} \sum_{i = 1}^{N} {[\frac{y_{i} - \hat{f} (x_{i})}{1 - t r a c e (S) / N}]}^{2}

$GCV(\hat{f})=\frac{1}{N}\sum_{i=1}^{N}\left[\frac{y_i - \hat{f}(x_i)}{1-trace(S)/N}\right]^2$

これは、多くのモデルのAICと動作が非常に似ています。、パラメータの有効数です。 $trace{S}$

あなたが引用部分は、より一般の痕跡である。私が理解できる限りでは、抽象GCVはクロス検証の除外バージョンの近似バージョンですが、場合によっては（リッジ回帰と思われます）、正確です。これがGolub論文の主要なポイントです。 $n\lambda$ $S$

幸運を祈ります

— pauljohn32
ソース

ありがとう。5年以上前に質問を投稿しましたが、それ以来、この資料のほとんどを忘れてしまったので、あなたの答えを評価して、それが良い（そうであるように見える）か悪いかを判断することはできません。私もそれを受け入れることができません。投稿してくれてありがとう。うまくいけば、このページに出くわすかもしれない他の人に役立つでしょう。

— エヴァンアード