高次元回帰：

高次元回帰の分野での研究を読み上げようとしています。場合より大きい、即ち、。という用語は、回帰推定量の収束率の観点から頻繁に現れるようです。 $p$ $n$ $p >> n$ $\log p/n$

$\hat{\beta}$

\frac{1}{n} ‖ X \hat{β} - X β ‖_{2}^{2} = O_{P} (σ \sqrt{\frac{\log p}{n}} ‖ β ‖_{1}) .

$\dfrac{1}{n}\|X\hat{\beta} - X \beta\|_2^2 = O_P \left(\sigma \sqrt{\dfrac{\log p}{n} } \|\beta\|_1\right)\,.$

通常、これはがよりも小さいことも意味し。 $\log p$ $n$

この比率が非常に顕著である理由について直感はありますか？ $\log p/n$
また、文献にば、場合、高次元の回帰問題は複雑になり。なぜそうですか？ $\log p \geq n$
とが互いに比較してどれだけ速く成長するかという問題を議論する良いリファレンスはありますか？ $p$ $n$

— グリーンパーカー
ソース

\sqrt{\log p}

$\sqrt{\log p}$ 項は、測定の（ガウス）集中に由来し

。あなたが持っている場合は特に、

p

$p$ IIDガウス確率変数を、その最大値は、程度である

σ \sqrt{\log p}

$\sigma \sqrt{\log p}$ 高い確率で

。

n^{- 1}

$n^{-1}$ の要因は、ちょうどあなたが平均予測誤差を見ているという事実くる-つまり、それが一致した

n^{- 1}

$n^{-1}$ 反対側に-あなたが全体の誤差を見た場合、それはそこではないでしょう。

— mweylandt

2.基本的に、制御する必要がある2つの力があります。i）より多くのデータを持つという優れた特性（したがって、

を大きくしたい）。ii）困難には、より多くの（無関係な）特徴があるため（

を小さくしたい）。古典統計では、通常

を固定し、

を無限大にします。このレジームは、構築によって低次元レジームにあるため、高次元理論にはあまり役立ちません。あるいは、

を無限大に移動させ、

固定したままにすることもできますが、その場合、エラーが爆発して無限大になります。

n

$n$

p

$p$

p

$p$

n

$n$

p

$p$

n

$n$

— mweylandt

したがって、私たちの理論が終末論的（無限の特徴、有限データ）にならずに関連する（高次元のままである）ように両方が無限になることを考慮する必要があります。一般に、2つの「ノブ」を持つことは、1つのノブを持つことよりも難しいため、いくつかのを修正し、を無限大にします（したがって、間接的に）。の選択により、問題の動作が決まります。Q1に対する私の回答の理由により、追加機能からの「悪さ」はとしてのみ増加し、追加データからの「善」はとして増加することが。

n, p

$n, p$

p = f (n)

$p = f(n)$

f

$f$

n

$n$

p

$p$

f

$f$

\log p

$\log p$

n

$n$

— mweylandt

したがって、が一定である場合（同様に、一部の）、水を踏むことになります。もし（）私たちは漸近的にゼロ誤差を達成。そして、場合（）、エラーが最終的には無限大になります。この最後の体制は、文献では「超高次元」と呼ばれることがあります。それは絶望的ではありませんが（近いとは言え）、エラーを制御するにはガウスの単純な最大値よりもはるかに高度な技術が必要です。これらの複雑なテクニックを使用する必要性は、あなたが注目する複雑さの究極の原因です。

\log p / n

$\log p / n$

p = f (n) = Θ (C^{n})

$p = f(n) = \Theta(C^n)$

C

$C$

\log p / n \to 0

$\log p / n \to 0$

p = o (C^{n})

$p = o(C^n)$

\log p / n \to \infty

$\log p / n \to \infty$

p = ω (C^{n})

$p = \omega(C^n)$

— mweylandt

@mweylandtありがとう、これらのコメントは本当に便利です。それらを公式の答えに変えてください。そうすれば私はそれらをより首尾一貫して読み、あなたに賛成できますか？

— グリーンパーカー

（@Greenparkerの要求に応じてコメントから回答に移動）

パート1）

項は、測定の（ガウス）集中に由来し。あなたが持っている場合は特に、IIDガウス確率変数[F1]を、その最大値は、程度である $\sqrt{\log p}$ $p$ 高い確率で。 $\sigma\sqrt{\log p}$

の要因は、ちょうどあなたが平均予測誤差を見ているという事実くる-つまり、それが一致した反対側に-あなたが全体の誤差を見た場合、それはそこではないでしょう。 $n^{-1}$ $n^{-1}$

パート2）

基本的に、制御する必要がある2つの力があります。

i）より多くのデータを持つという優れた特性（を大きくしたい）; $n$
ii）困難には、より多くの（無関係な）特徴があるため（を小さくしたい）。 $p$

古典的な統計では、通常を固定し、を無限大にします。このレジームは、構築によって（漸近的に）低次元レジームにあるため、高次元理論にはあまり役立ちません。 $p$ $n$

あるいは、を無限大にして固定したままにすることもできますが、問題が本質的に不可能になるとエラーが爆発します。問題によっては、エラーがいくつかの自然の上限（無限大で、または停止に行くかもしれ例えば、100％の誤分類エラー）。 $p$ $n$

これらのケースはどちらも少し役に立たないので、代わりに両方とも無限になり、終末論的（無限の特徴、有限データ）にならずに理論が両方とも関連する（高次元のまま）ことを考慮します。 $n, p$

二つの「ノブ」を有する我々は修正ので、一般的に硬い単一のノブを有するよりもいくつかの固定のためにおよびlet 無限大に移動（ひいては間接的に無限大になる）。[F2]の選択問題の動作を決定します。パート1に対する私の回答の理由により、追加機能からの「悪さ」はとしてのみ増加し、追加データからの「善」はとして増加することが。 $p=f(n)$ $f$ $n$ $p$ $f$ $\log p$ $n$

場合は一定のまま（一部のでは）、水を踏むと問題は洗浄です（エラーは漸近的に固定されたままです）。 $\frac{\log p}{n}$ $p=f(n)=Θ(C^n)$ $C$
場合（）漸近的にゼロ誤差を達成します。 $\frac{\log p}{n} \to 0$ $p=o(C^n)$
そして、（）、エラーは最終的に無限になります。 $\frac{\log p}{n}→\infty$ $p=\omega(C^n)$

この最後の体制は、文献では「超高次元」と呼ばれることがあります。「超高次元」という用語は、私の知る限り厳密な定義はありませんが、非公式には「なげなわおよび同様の推定量を破る政権」です。

かなり理想的な条件下での小さなシミュレーション研究でこれを実証できます。ここでは、の最適な選択の理論的指導取る [BRT09]からをして選ぶ $\lambda$ 。 $\lambda = 3 \sqrt{\log(p)/n}$

まず、場合を考えます。これは上記の「引き込み可能な」高次元レジームにあり、理論が予測するように、予測誤差がゼロに収束することがわかります。 $p = f(n) = 3n$

再現するコード：

library(glmnet)
library(ggplot2)

# Standard High-Dimensional Asymptotics: log(p) / n -> 0

N <- c(50, 100, 200, 400, 600, 800, 1000, 1100, 1200, 1300)
P <- 3 * N

ERROR_HD <- data.frame()

for(ix in seq_along(N)){
  n <- N[ix]
  p <- P[ix]

  PMSE <- replicate(20, {
    X <- matrix(rnorm(n * p), ncol=p)
    beta <- rep(0, p)
    beta[1:10] <- runif(10, 2, 3)
    y <- X %*% beta + rnorm(n)

    g <- glmnet(X, y)

    ## Cf. Theorem 7.2 of Bickel et al. AOS 37(4), p.1705-1732, 2009. 
    ## lambda ~ 2*\sqrt{2} * \sqrt{\log(p)/n} 
    ## is good scaling for controlling prediction error of the lasso
    err <- X %*% beta - predict(g, newx=X, s=3 * sqrt(log(p)/n))
    mean(err^2)
  })

  ERROR_HD <- rbind(ERROR_HD, data.frame(PMSE=PMSE, n=n, p=p))
}

ggplot(ERROR_HD, aes(x=n, y=PMSE)) + geom_point() + theme_bw() + 
xlab("Number of Samples (n)") + 
ylab("Mean Prediction Error (at observed design points)") + 
ggtitle("Prediction Error Converging to 0 under High-Dim Asymptotics") + 
scale_x_continuous(sec.axis = sec_axis(~ 3 * ., name="Number of Features (p)")) + 
scale_y_log10()

これを場合と比較できはほぼ一定です。これを「境界線」超高次元レジームと呼びますが、これは標準的な用語ではありません。 $\frac{\log p}{n}$

P <- 10 + ceiling(exp(N/120))

ここでは、（上記と同じ設計を使用した）予測エラーがゼロを継続する代わりに横ばいになることがわかります。

$P$ $e^n$ $e^{n^2}$ $e^{n^2}$

P <- 10 + ceiling(exp(N^(1.03)/120))

$X$ $e^{n^1.5}$

上記で述べたこととその表示方法に関わらず、超高次元レジームは実際には完全に絶望的ではありませんが（近いとはいえ）、エラーを制御するにはガウス確率変数の単純な最大値よりもはるかに洗練された手法が必要です。これらの複雑なテクニックを使用する必要性は、あなたが注目する複雑さの究極の原因です。

$p, n$ $p = f(n)$

パート3）

$\log p$ $n$

$n, p$ $n, p$

あなたが快適で、研究文献を掘り下げたいなら、私は超高次元の問題に関する基本的な仕事のほとんどを行ったJianqing FanとJinchi Lvの作品を見たいと思います。（「スクリーニング」は検索に適した用語です）

[F1]実際には、サブガウス確率変数ですが、これはこの議論にそれほど追加しません。

$s$ $n$ $s = g(n)$

[F3] T.ヘイスティ、R。ティブシラニ、M。ウェインライト。スパース性を使用した統計学習。統計と応用確率に関するモノグラフ143. CRC Press、2015。https：//web.stanford.edu/~hastie/StatLearnSparsity_files/SLS.pdfから無料でダウンロードできます。

[BRT] Peter J. Bickel、Ya'acov Ritov、およびAlexandre B. Tsybakov。「なげなわとダンツィッヒセレクターの同時分析」統計37（4）、p。1705-1732、2009。http ： //dx.doi.org/10.1214/08-AOS620

— ムウェイランド
ソース

\log p / n

$\log p/n$

n

$n$