LASSOを使用すると、R Squaredが回帰適合の適切な尺度にならないのはなぜですか？

LASSOを使用してモデルを近似する場合、R Squaredは理想的な尺度ではないことをいくつかの箇所で読みました。しかし、それがなぜなのか正確にはわかりません。

さらに、最良の代替案を推奨できますか？

— デイブ
ソース

LASSOを使用する目的は、多くの共変量を持たないという意味で（予測量の）スパース表現を取得することです。モデルをと比較すると、多くの共変量を持つモデルが優先される傾向があります。実際、結果に関係のない共変量を追加しても、は決して減少せず、少なくとも少しは増加します。LASSOモデルは、最適なペナルティ付き対数尤度でモデルを識別します（ペナルティなしの対数尤度は単調に関連しています）。LASSOモデルを他のタイプのモデルと比較するためにより広く使用されている検証統計は、たとえば、BICまたは交差検証されたです。 $R^2$ $R^2$ $R^2$ $R^2$

— アダモ
ソース

理由を明確に提示し、代替案を提供するための+1

— Haitao Du

すばらしい答えをありがとう！「LASSOモデルは、最適なペナルティ付き対数尤度でモデルを識別します（ペナルティなしの対数尤度はR2に単調に関連しています）。」最初の部分は、予測とペナルティによってエラーが最も少ないモデルを選択することを意味しますか？ただし、括弧内のビットの意味がわかりません。それは、R2がダウンするとペナルティなしのLLがアップすることを意味しますか？また、相互検証されたR2は完全に新しいデータセットに含まれている必要がありますか？それとも、トレーニングデータに基づくことができますか？

— Dave

\log (2 π) N + 1 - \log (N) + \log (\sum_{i = 1}^{n} r_{i}^{2})

$\log(2\pi)N+1−\log(N)+\log(\sum_{i=1}^n r_i^2)$

1 - \sum_{i = 1}^{n} r_{i}^{2} / \sum_{i = 1}^{n} y_{i}^{2}

$1 - \sum_{i=1}^n r_i^2/\sum_{i=1}^ny_i^2$ 。ペナルティは間接的にエラーの原因となり、スパース性を適用するために支払う代償です。ペナルティなしのモデルでは、常に（内部）エラーが低くなります。一般的に、人々は同じデータセットで相互検証を行います。新しいデータセットでモデルをテストすることはまったく別のことであり（「クロス」部分は必要ありません）、十分に行われていません。

— AdamO

@AdamOコメントをあなたの回答に編集するのは良い考えだと思います。とても良いです。

— Matthew Drury

こんにちは@AdamOの最後のフォローアップ質問です。なぜ、従来のR2が悪い指標なのか理解しました。しかし、なぜ（同じデータセット内で）相互検証されたR2が大丈夫なのかはわかりません。

— Dave