弾性ネットに関連する混乱


10

エラスティックネットに関する記事を読んでいました。Lassoのみを使用する場合、相関性の高い予測子の中から1つだけを選択する傾向があるため、弾性ネットを使用すると彼らは言います。しかし、これは私たちが望んでいることではありません。つまり、多重共線性の問題から私たちを救ってくれるのではありません。

提案/説明はありますか?

回答:


11

2つの予測子が応答に強い影響を与えるが、モデルの作成元のサンプルでは高い相関があると仮定します。モデルから1つを削除すると、予測子が高度に相関されていない類似した母集団からのサンプルをうまく予測できなくなります。

多重共線性が存在する場合に係数推定の精度を向上させたい場合は、少しのバイアスを導入し、分散の大幅な削減によってそれを相殺する必要があります。1つの方法は、予測子を完全に削除することです。LASSOを使用するか、昔はステップワイズ法を使用して、係数の推定値をゼロに設定します。もう1つは、すべての推定値に少しバイアスをかけることです。つまり、リッジ回帰を使用するか、昔は最初のいくつかの主成分に回帰します。かつての欠点は、予測因子は、彼らが多くの使用ではないだからだけ除外取得する傾向があるように、モデルは、離れて元のサンプルで発生したものから、予測パターンに対する応答を予測するために使用されるならば、それは非常に危険なことだ一緒に他のと、ほぼ同一線上の予測子。(その外挿が完全に安全であるというわけではありません。)@ user12436が説明するように、エラスティックネットは2つを組み合わせたものであり、相関する予測子のグループをモデルに保持する傾向があります。


なぜこの新しいサンプルではうまく予測できないのですか?
user31820 2013

1
モデルに重要な予測子がないためです。
Scortchi-モニカの回復

2
母集団の1つの代表的なサンプルで2つの予測子が相関している場合、それらは別のサンプルで相関してはいけませんか?「元のサンプルで発生したものから離れている」データのモデルを使用する場合、それは境界線の無効なモデルの使用ではないですか?
Matthew Drury

@MatthewDrury:モデルの「正しい」場合-気にする価値のある観測されていない交絡因子がない場合、および関数型が外挿可能である場合-サンプル内の予測子の分布は重要ではありません(もちろん、精度は見積もりと予測)。したがって、極端な場合、因果要因に関する十分に制御された実験的研究からのデータに基づいて構築された機構モデルがあるかもしれません。もう1つは、測定が簡単な一連の変数についての観察研究から収集されたデータに基づいて構築された経験的モデルです。
Scortchi-モニカを回復

フレーズ:「昔は、段階的な方法は、私は笑顔作っ:D(明白+1、これは良い答えである)。
usεr11852

4

しかし、これは私たちが望んでいることではありません。つまり、多重共線性の問題から私たちを救ってくれるのではありませんか。

はい!そして、いいえ。エラスティックネットは、L2正則化(リッジ回帰で使用)とL1正則化(LASSOで使用)の2つの正則化手法を組み合わせたものです。

Lassoは自然にスパースモデルを生成します。つまり、ほとんどの変数係数は0に縮小され、モデルから効果的に除外されます。したがって、すべての変数が実際に0に縮小されるのではなく、すべての変数が縮小されるリッジとは異なり、最下位の変数は他を縮小する前に縮小されます。

Elastic netは、これら両方のアプローチの線形結合を使用します。メソッドについて説明するときにHastieによって言及された特定のケースは、大きなp、小さなnの場合でした。つまり、観測が比較的少ない高次元データです。この場合、LASSOは(報告によると)最大でn個の変数のみを選択し、残りはすべて削除します。Hastieの論文を参照してください

これは常に実際のデータセットに依存しますが、モデル内の変数の数の上限を観測値の数以下にする必要がないことはよく想像できます。


しかし、多重共線性についてはどうでしょう。エラスティックネットでは、マルチコリニア機能を選択することはできませんか?
user31820 2013

多くの実際のデータセットが完全に多重共線変数を持っているとは思いません。相関性の高い変数はほぼ同一線上にある可能性がありますが、これは依然として問題ですが、両方がモデルにとって重要である場合は、受け入れることをいとわないかもしれません。
意味を意味する

上記で追加したリンクは、yahoo.comにつながります。また、[論文](onlinelibrary.wiley.com/doi/10.1111/j.1467-9868.2005.00503.x/…)はZouとHastie(Elastic net one)によるものです。
KarthikS 2016年

2

LassoとElastic Netはどちらも、高次元のデータ設定で変数または機能の選択を実行する効率的な方法です(患者やサンプルよりもはるかに多くの変数、たとえば20,000の遺伝子と500の腫瘍サンプル)。

データが高度に相関している場合、Elastic NetがLa​​ssoよりも優れたパフォーマンスを発揮できることが示されています(Hastie氏など)。Lassoは相関変数の1つを選択するだけで、どちらが選択されるかは関係ありません。これは、独立したデータセットで選択された変数を検証したい場合に問題になる可能性があります。Lassoによって選択された変数は、すべての相関変数の中で最良の予測子とは限りません。Elastic Netは、相関性の高い変数を平均化することでこの問題を解決します。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.