さまざまな統計手法（回帰、PCAなど）は、サンプルのサイズと次元にどのように対応していますか？

サンプルサイズと次元に応じてスケーリングする方法を説明する統計手法の既知の一般的な表はありますか？たとえば、ある友人が先日、サイズnの1次元データを単純にクイックソートする計算時間はn * log（n）になると教えてくれました。

したがって、たとえば、Xがd次元の変数であるXに対してyを回帰すると、O（n ^ 2 * d）になりますか？正確なガウスマルコフ解とニュートン法による数値最小二乗法で解を求めたい場合、どのようにスケーリングしますか？または、単純に解を取得するか、有意差検定を使用するか？

私はここでの良い答えよりも良い答えの源（様々な統計的手法のスケーリングをまとめた論文のような）が欲しいと思います。たとえば、重回帰、ロジスティック回帰、PCA、Cox比例ハザード回帰、K平均クラスタリングなどのスケーリングを含むリストのように。

効率的な（そして自明ではない）統計アルゴリズムのほとんどは本質的に反復的であるためO()、最悪のケースは「収束に失敗」するため、最悪のケースの分析は無関係です。

それにもかかわらず、大量のデータがある場合、線形アルゴリズム（O(n)）でさえ遅くなる可能性があるため、表記法の背後にある「隠された」定数に焦点を合わせる必要があります。たとえば、単一の変量の分散の計算は、データを2回スキャンして単純に行われます（平均の推定値を計算するために一度、分散を推定するために1回）。しかし、それは1つのパスで行うこともできます。

反復アルゴリズムの場合、より重要なのは、収束に大きな影響を与える要素であるデータ次元の関数としての収束率とパラメーター数です。多くのモデル/アルゴリズムは、変数（スプラインなど）の数に応じて指数関数的なパラメーターを増やしますが、他のモデル（アルゴリズムは、サポートベクターマシン、ランダムフォレストなど）を線形に増やします。

タイトルで回帰とPCAについて言及しましたが、それぞれに明確な答えがあります。

N> Pの場合、線形回帰の漸近的な複雑さはO（P ^ 2 * N）に減少します。ここで、Pは特徴の数、Nは観測の数です。最小二乗回帰演算の計算の複雑さの詳細。

バニラPCAはO（P ^ 2 * N + P ^ 3）であり、高次元データの最速PCAアルゴリズムと同様です。しかし、その回答で説明されている非常に大きな行列には高速アルゴリズムが存在し、膨大な数の機能に最適なPCAアルゴリズムはありますか？。

しかし、私は誰もがその主題について一つの明るいレビュー、参照、または本を編集したとは思いません。私の自由時間には悪いプロジェクトではないかもしれません...

実際のシミュレーションのタイミングに基づいて、このStata Journalの記事でStataのために開発した確認因子分析パッケージに対して非常に限られた部分的な回答を与えました。確認因子分析は最尤推定手法として実装され、各次元（サンプルサイズn、変数のp数、因子の数k）で計算時間がどのように増加するかを非常に簡単に確認できました。Stataがデータについて考える方法に大きく依存しているため（行ではなく列/観測全体で計算するように最適化されています）、パフォーマンスがO(n^{0.68} (k+p)^{2.4})ここで、2.4は最速の行列反転漸近法です（そして、確認的因子分析の反復最大化には、その多くが地獄にあります）。後者については言及しませんでしたが、ウィキペディアから入手したと思います。

X'X$10^8$