要約されたデータからの正規化適合：パラメーターの選択

9

私の以前の質問に続いて、リッジ回帰の正規方程式の解は次のように与えられます：

{\hat{β}}_{λ} = (X^{T} X + λ I)^{- 1} X^{T} y

$\hat{\beta}_\lambda = (X^TX+\lambda I)^{-1}X^Ty$

正則化パラメーターを選択するためのガイダンスを教えてください。また、対角のため、観測数で育つ、必要がありますまたの関数である？ $\lambda$ $X^TX$ $m$ $\lambda$ $m$

regression regularization ridge-regression

— NPE
ソース

回答:

7

私の答えは、Anders Bjorkstorm Ridge回帰と逆問題による問題の素晴らしいレビューに基づいています（記事全体を読むことをお勧めします）。

このレビューのパート4は、リッジ回帰におけるパラメーター選択に特化しており、いくつかの主要なアプローチを紹介しています。 $\lambda$

尾根のトレースはに対するグラフィカル分析に対応しています。典型的なプロットは、不安定な状態を示します（実際に正しく投稿されていない問題の場合、どのような場合でもこの正則化が必要であることを確認する必要があります）。近い推定ゼロ、ある点からはほぼ一定（おおよそ、すべてのパラメーターについて一定の動作交差領域を検出する必要があります）。ただし、このほぼ一定の動作がどこから始まるかに関する決定は、やや主観的です。このアプローチの朗報は、とを観察する必要がないことです。 $\hat{\beta}_{i,\lambda}$ $\lambda$ $\hat{\beta}_{i,\lambda}$ $\lambda$ $X$ $y$
$L$ 曲線は、推定されたパラメーターのベクトルのユークリッドノルムをプロットします残差ノルムに対して。形状は通常、字に近いので、最適なパラメータがどこに属するかを決定するコーナーが存在します（カーブで後者が最大曲率に達するポイントを選択できますが、詳細についてはハンセンの記事を検索することをお勧めします詳細）。 $|\hat{{\beta}}_\lambda|$ $|y - X\hat{\beta}_\lambda|$ $L$ $L$
以下のためのクロスバリデーション実際に簡単な「リーブ・ワン・アウト」のアプローチは、多くの場合、選択されている、を求めて、RMSEやMAPEを開始するには、2つの最大化（または最小化）いくつかの予測精度の基準は（あなたがそれらの広い範囲を持っているということですあり）。2.と3.の難しさは、とを観察して実際に実装する必要があることです。 $\lambda$ $X$ $y$

— ドミトリ・セロフ
ソース

3

私の経験では、相互検証を1つ残しておくと、ほとんどの場合、正則化がほとんど行われません。分割交差検証は、ほとんどの場合、より適切に機能します。

k

$k$

— 枢機卿

（+1）@cardinal、素晴らしい追加、率直に言って、私は相互検証メソッドの経験がほとんどありません。私が実際に使用した通常の単純なものは、ジャックナイフ（後続の観測をドロップ）と時系列データのサンプル外です。けれども倍はあまりにもいくつかの時系列モデルのために実装することができ、最初に私自身の経験を構築するためにそれを試してみて下さい。

k

$k$

k

$k$

— Dmitrij Celov

定常時系列には、いくつかの優れたブロックブートストラップメソッドがあります。おそらく、それらは正則化パラメーターを選択する目的で変更された可能性があります。

— 枢機卿、

次の論文が役立つかもしれません。Heath、M.＆Wahba、G. Generalized Cross-Validation as a Method for the Good Ridge Parameter。テクノメトリクス、1979、21、215-223。Golubらによって導入された基準。再サンプリングは必要ありません。

— emakalic

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。

Licensed under cc by-sa 3.0 with attribution required.