のみを知っており、直接知らない場合の線形回帰

と仮定します。 $X\beta =Y$

正確にはわかりませんが、各予測子との相関関係のみがわかります。 $Y$ $X^\mathrm{t}Y$

通常の最小二乗（OLS）解はであり、問題はありません。 $\beta=(X^\mathrm{t} X)^{-1} X^\mathrm{t}Y$

しかし、がほぼ特異（多重共線性）であり、最適なリッジパラメーターを推定する必要があるとします。すべてのメソッドは正確な値を必要とするようです。 $X^\mathrm{t}X$ $Y$

がわかっている場合、代替方法はありますか？ $X^\mathrm{t}Y$

regression multicollinearity

— ジャグ
ソース

興味深い質問。おそらく、EMアルゴリズムのいくつかの並べ替えは...働くだろう

— probabilityislogic

わかりませんが、最適なリッジパラメーターの推定に交差検定を使用できませんか？

— パルディス

@Pardis：質問には損失関数が示されていないため、最適な意味はわかりません。損失関数がMSEである場合に発生する問題を確認できますか？

— 枢機

@JohnSmith：あなたは私が運転していたポイントをほのめかしています。「最適性」を測定する方法は示されていません。効果的に行っているのは、予測または適合の「品質」を測定するために、異なるメトリック（距離関数）を導入することです。非常に遠くまで到達するためには、OPからの詳細が必要だと思います。

— 枢機

@Pardis：ご指摘のとおり、推定値を見つけることは問題ではありません。:)しかし、クロスバリデーションを行うことに決めた場合、サンプル外のMSE、つまり、各反復の左アウトフォールドをどのように推定しますか？:)

— 枢機

回答:

これは興味深い質問です。驚くべきことに、特定の仮定の下で何かを行うことは可能ですが、残差分散に関する情報が失われる可能性があります。に依存します。 $X$

のは、以下の特異値分解を考えるのと AN正規直交列を有する行列、正の特異値を持つ対角行列対角および a直交行列の次に、の列は、およびの列空間の正規直交基底を形成します。で展開されたときに、この列スペースにを投影するための係数のベクトル $\newcommand{\t}{^\mathrm{t}}X = UDV\t$ $X$ $U$ $n \times p$ $D$ $d_1 \geq d_2 \geq ... \geq d_p > 0$ $V$ $p \times p$ $U$ $X$

Z = U^{t} Y = D^{- 1} V^{t} V D U^{t} Y = D^{- 1} V^{t} X^{t} Y

$Z = U\t Y = D^{-1} V\t V D U\t Y = D^{-1} V\t X\t Y$

Y

$Y$

U

$U$ 列ベース。式から、はと知識のみから計算可能であることがわかります。

Z

$Z$

X

$X$

X^{t} Y

$X\t Y$

所与のためのリッジ回帰予測のでように計算することができる列ベースのリッジ回帰予測子の係数はここで、は次元の平均と共分散行列があるという分布の仮定を立てます。その後、有する次元の平均および共分散行列。独立した人を想像すると $\lambda$

\hat{Y} = バツ （ {バツ}^{t} バツ + λ 私 ）^{- 1} {バツ}^{t} Y = うん D （ D^{2} + λ 私 ）^{- 1} D {うん}^{t} Y = うん D （ D^{2} + λ 私 ）^{- 1} D Z

$\hat{Y} = X(X\t X + \lambda I)^{-1} X\t Y = U D(D^2 + \lambda I)^{-1} D U\t Y = U D(D^2 + \lambda I)^{-1} D Z$

U

$U$

\hat{Z} = D （ D^{2} + λ 私 ）^{- 1} D Z 。

$\hat{Z} = D (D^2 + \lambda I)^{-1} D Z.$

Y

$Y$

n

$n$

ξ

$\xi$

σ^{2} I_{n}

$\sigma^2 I_n$

Z

$Z$

p

$p$

U^{t} ξ

$U\t \xi$

σ^{2} I_{p}

$\sigma^2 I_p$

Y^{New}

$Y^{\text{New}}$ と同じ分布を有する（上の条件付きすべて対応以下、適宜から）同じを有しますとしての分布で独立しており、ここで、3番目の等式はおよび直交性に続きますそして4番目の事実によって

Y

$Y$

X

$X$

Z^{New} = U^{t} Y^{New}

$Z^{\text{New}} = U\t Y^{\text{New}}$

Z

$Z$

\begin{array}{rcl} E | | Y^{新着} - \hat{Y} | |^{2} & = & E | | Y^{新着} - うん Z^{新着} + うん Z^{新着} - うん \hat{Z} | |^{2} \\ = & E | | Y^{新着} - うん Z^{新着} | |^{2} + E | | うん Z^{新着} - うん \hat{Z} | |^{2} \\ = & {エラー}_{0} + E | | Z^{新着} - \hat{Z} | |^{2} 。 \end{array}

$\begin{eqnarray*} E ||Y^{\text{New}} - \hat{Y}||^2 &= & E || Y^{\text{New}} - U Z^{\text{New}} + U Z^{\text{New}} - U \hat{Z} ||^2 \\ & = & E || Y^{\text{New}} - U Z^{\text{New}}||^2 + E||U Z^{\text{New}} - U \hat{Z} ||^2 \\ & = & \text{Err}_0 + E||Z^{\text{New}} - \hat{Z} ||^2. \end{eqnarray*}$

Y^{New} - U Z^{New}

$Y^{\text{New}} - U Z^{\text{New}}$

U Z^{New} - U \hat{Z}

$U Z^{\text{New}} - U \hat{Z}$

U

$U$ は正規直交列があります。量は、情報を取得できないエラーが、も依存しません。左側の予測誤差を最小化するには、右側の2番目の項を最小化する必要があります。

{Err}_{0}

$\text{Err}_0$

λ

$\lambda$

標準計算によるここでは、パラメーターを使用したリッジ回帰の有効自由度として知られています。の不偏推定量は、

\begin{array}{rcl} E | | Z^{新着} - \hat{Z} | |^{2} & = & E | | Z - \hat{Z} | |^{2} + 2 \sum_{私 = 1}^{p} cov （ Z_{私} 、 {\hat{Z}}_{私} ） \\ = & E | | Z - \hat{Z} | |^{2} + 2 σ^{2} \underset{df （ λ ）}{\underset{⏟}{\sum_{私 = 1}^{p} \frac{d_{私}^{2}}{d_{私}^{2} + λ}}} 。 \end{array}

$\begin{eqnarray*} E||Z^{\text{New}} - \hat{Z} ||^2 &= & E||Z - \hat{Z}||^2 + 2 \sum_{i=1}^p \text{cov}(Z_i, \hat{Z}_i) \\ & = & E||Z - \hat{Z}||^2 + 2 \sigma^2 \underbrace{\sum_{i=1}^p \frac{d_i^2}{d_i^2 + \lambda}}_{\text{df}(\lambda)}. \end{eqnarray*}$

df (λ)

$\text{df}(\lambda)$

λ

$\lambda$

E | | Z - \hat{Z} | |^{2}

$E||Z - \hat{Z}||^2$

エラー （ λ ） = | | Z - \hat{Z} | |^{2} = \sum_{私 = 1}^{p} {（ 1 - \frac{d_{私}^{2}}{d_{私}^{2} + λ} ）}^{2} Z_{私}^{2} 。

$\text{err}(\lambda) = ||Z - \hat{Z}||^2 = \sum_{i=1}^p \left(1 - \frac{d_i^2}{d_i^2 + \lambda}\right)^2 Z_i^2.$

我々は（公平）と組み合わせる推定の、わかっている場合は、最小化する必要があります。私たちが知っている場合は明らかに、これはのみ行うことができますまたは合理的に推測かの推定持つ。

エラー （ λ ） + 2 σ^{2} df （ λ ）

$\text{err}(\lambda) + 2 \sigma^2 \text{df}(\lambda)$

E | | Z^{New} - \hat{Z} | |^{2}

$E||Z^{\text{New}} - \hat{Z} ||^2$

σ^{2}

$\sigma^2$

σ^{2}

$\sigma^2$

σ^{2}

$\sigma^2$

推定には、より問題があります。示すことが可能であるしたがって、二乗バイアスを無視できるほど小さいを選択できる場合は、をとして推定することができこれが機能するかどうかは、大きく依存します。 $\sigma^2$

E | | Z - \hat{Z} | |^{2} = σ^{2} （ p - \underset{d （ λ ）}{\underset{⏟}{\sum_{私 = 1}^{p} \frac{d_{私}^{2}}{d_{私}^{2} + λ} （ 2 - \frac{d_{私}^{2}}{d_{私}^{2} + λ} ）}} ） + バイアス （ λ ）^{2} 。

$E||Z - \hat{Z}||^2 = \sigma^2\left(p - \underbrace{\sum_{i=1}^p \frac{d_i^2}{d_i^2 + \lambda}\left(2 - \frac{d_i^2}{d_i^2 + \lambda}\right)}_{\text{d}(\lambda)}\right) + \text{bias}(\lambda)^2.$

λ

$\lambda$

σ^{2}

$\sigma^2$

{\hat{σ}}^{2} = \frac{1}{p - d （ λ ）} | | Z - \hat{Z} | |^{2} 。

$\hat{\sigma}^2 = \frac{1}{p-\text{d}(\lambda)} ||Z - \hat{Z}||^2.$

X

$X$

詳細については、ESLのセクション3.4.1と第7章、またはGAMの第2 章をご覧ください。

— NRH
ソース

質問のようにを定義し、をさまざまなパラメーターに設定し、サンプルラベルのを設定します。次いで、不明ので計算可能であるの両方を展開するときにドロップアウト規範。 $β$ $β(λ,K)=[(X^TX)_{KK}+λI]^{−1}(X^TY)_K$ $\lambda$ $K$ $e(λ,K):=\|Xβ(λ,K)-Y\|^2-\|Xβ-Y\|^2$ $\|Y\|^2$

これは、次のアルゴリズムにつながります。

トレーニングセットいくつかの選択肢についてを計算します。 $e(λ,K)$ $K$
結果を関数としてプロットします。 $\lambda$
プロットが最も平坦な値を受け入れます。 $\lambda$
使用最終推定値として。 $β^*=[X^TX+λI]^{−1}X^TY$

— アーノルド・ノイマイアー
ソース

「プロットが最も平坦な場所」は非常に小さく、およそ0のようになります:)

λ

$\lambda$

— jbowman

@jbowman：これは、問題が適切に調整されており、正則化を必要としない場合にのみ発生し、が実際に適切です。悪条件の場合、外側の項目の予測は過剰適合のために貧弱になり、したがっては大きくなります。

λ = 0

$\lambda=0$

K

$K$

e (λ, K)

$e(\lambda,K)$

— アーノルドノイマイアー

@ArnoldNeumaier：は計算できません。各予測子との相関関係のみがわかっています。は、「Yドメイン」ではなく「予測子ドメイン」にあります（Nがサンプルサイズで、pが予測子の数である場合、p個の値のみがあり、予測子ごとに1つあります）。

(X^{T} Y)_{K}

$(X^TY)_K$

(X^{T} Y)

$(X^TY)$

— ジャグ

@Jag：を選択するための十分な情報がありません。しかし、は何らかの形で収集されたに違いありません。収集中にサンプルをバッチに分割し、バッチごとに個別にを組み立てた場合、相互検証のためにそれぞれ1つのバッチを予約できます。

λ

$\lambda$

X^{T} Y

$X^TY$

k

$k$

X^{T} Y

$X^TY$

— アーノルドノイマイアー

@ArnoldNeumaier：は外部から与えられ、収集されません。

X^{T} Y

$X^TY$

— ジャグ