次元の呪いとは何ですか？

21

具体的には、次元の呪いを厳密に示し説明する参考文献（論文、書籍）を探しています。この質問は、LaffertyとWassermanによるこのホワイトペーパーを読み始めた後に生じました。3番目の段落では、収束の最良のレートがあることを意味する「よく知られた」方程式に言及しています。誰かがそれについて説明することができれば（そしてそれを説明できるなら）、それは非常に役立つでしょう。 $n^{-4/(4-d)}$

また、誰かが「よく知られた」方程式を導き出すリファレンスを私に指摘できますか？

theory

— コダ
ソース

7

説明することはできませんが、呪いの3つの異なるバージョンのような音を聞いたことがあると思います。 3）高次元では、すべてが基本的に等距離になる傾向があり、区別が困難になります。

— ウェイン

5

これを幾何学的に解釈できます。半径r = 1のD次元の球体があるとします。次に、半径r = 1とr = 1-eの間にある球体の体積の割合について質問できます。球体の体積がk（d）* r ^（d）のようにスケーリングすることがわかっているため（dは次元数）、分数は1-（1-e）^ dで与えられることがわかります。したがって、高次元の球体の場合、ボリュームのほとんどは表面近くの薄いシェルに集中します。詳細については、司教の本「パターンの再認識と機械学習」を参照してください。

— マイク博士

@ウェインシュア; プラス5）通常、調光が多いほどノイズが多くなります。

マイク博士、私は論理に従わない。「体積のほとんどが高次元の球体の表面近くの薄いシェルに集中しているため、次元に呪われている」と言っているように聞こえます。さらに説明してもらえますか。また、アナロジーが統計とどのように結び付いているかを明示的に示していただけますか？

— khoda

9

richiemorrisroeに続いて、統計学習の要素の第2章（pp22-27）からの関連画像を以下に示します。

ESLページ25

右上のペインでわかるように、2次元で1ユニット離れた隣人よりも1次元で1ユニット離れた隣人の方が多くなっています。3次元はさらに悪化します！

— ザック
ソース

7

これはあなたの質問に直接答えるものではありませんが、David Donohoが高次元データ分析に関するすばらしい記事を書いています：次元の呪いと祝福（関連スライドはこちら）

$D$ $(1/\epsilon)^D$ $\epsilon$
$d$ $(1/\epsilon)^D$ $\epsilon$
$D$ $(1/\epsilon)^D$ $\epsilon$

— レグチン
ソース

6

私はそれを参照し続けていることを知っていますが、これについてのすばらしい説明が統計学習の要素、第2章（pp22-27）です。彼らは基本的に、次元が増加するにつれて、データの量が（指数関数的に）増加する必要があるか、より大きなサンプル空間に有用な分析を実行するのに十分なポイントがないことに注意します。

彼らは、Bellman（1961）の論文をソースとして参照しています。これは、Amazonから入手できる彼の著書Adaptive Control Processesのようです

— リッチーモリスロー
ソース

+1。ESLの説明は素晴らしく、関連する図は大いに役立ちます。

— ザック

2

ここに画像の説明を入力してください

おそらく、最も悪名高い影響は次の制限によって捕捉されます（上の図に（間接的に）示されています）。

\underset{d 私 m \to \infty}{リム} \frac{d 私 s t_{m a バツ} - d 私 s t_{m 私 n}}{d 私 s t_{m 私 n}}

$\lim_{dim\rightarrow\infty}\frac{dist_{max}-dist_{min}}{dist_{min}}$

$L_2$ $k$ $L_k$

写真のデータに対する次元の影響

— ラファエル
ソース