部分特異値分解（SVD）のメモリー効率の高い実装

10

モデルの縮小のために、行列の最大20の特異値に関連付けられた左特異ベクトルを計算したい $A \in \mathbb R^{N,k}$ 、どこ $N\approx 10^6$ そして $k\approx 10^3$ 。残念ながら、私のマトリックス $A$ どんな構造もなしで密になります。

このサイズのランダムマトリックスに対してPython svdのnumpy.linalgモジュールからルーチンを呼び出すだけの場合、メモリエラーが発生します。これは、 $V\in \mathbb R^{N,N}$ 分解のために $A = VSU$ 。

この落とし穴を回避するアルゴリズムが周りにありますか？たとえば、非ゼロの特異値に関連付けられた特異ベクトルのみを設定します。

計算時間と精度をトレードする準備ができています。

— Jan
ソース

1

興味深いことに、NumpyはシンSVDの実行方法を知らないようです...

— JM

ヒントをありがとう。実際、numpy.linalg.svdには、full_matrices「ゼロ以外」の部分のみが計算されるようにFalseに設定するオプションがあります。それにもかかわらず、計算をさらに減らす方法はありますか？

— 月

3

numpyバックエンドは、Fortranコードを使用して LAPACKE_dgesvd、標準SVDルーチンを。ただし、通常、マトリックスはC_CONTIGOUS（で確認matrix.flags）です。したがって、Fortranアラインメントのデータをコピーします。さらに、lapackルーチンdgesvdの実行中に、マトリックスの別のコピー（または少なくともそのためのメモリ）が必要です。最初からメモリアラインメントがFortranスタイルであることを確認すると、1つのコピーを削除できます。

— 2013年

6

少数の特異値/ベクトルのみが必要な場合は、ARPACKがうまくいくはずです。SVDドキュメントは素晴らしいではありません、そして、この分布は、より最新です。

編集：これをPythonで実行したい場合、SciPyにはラッパーがあります。マトリックスが密集しているため、ブロックスパース行（BSR）形式を試すことができます。

— マックス・ハッチンソン
ソース

ARPACKがどのようにPythonと統合されるかを見ていきます...

— Jan

1

scipyにはラッパーがあるようです。回答の本文に追加します。

— Max Hutchinson

2

見てみましょうsklearn.decomposition.TruncatedSVDで scikit-学ぶ 0.14-RCを。
（scikit-learnの人々はstackoverflow.com/questions/tagged/scikit-learnをフォローしていると思うので、そこで詳細な質問をします。）

（どのくらいのメモリがありますか？10 $^{6+3}$ doublesはすでに8Gです。）

— デニス
ソース

ご回答有難うございます。今では、私はscipyのルーチンでうまくやっています。また、私はまで行っていません

10^{6} \times 10^{3}

$10^6 \times 10^3$ しかし、その約半分までは、私のラップトップでまだ実現可能なことです。必要に応じて、32 GBのRAMを搭載した稼働中のマシンを使用できます。

— 月

2

多分これを試すことができます。

https://github.com/jakevdp/pypropack

これは、PROPACKパッケージのPythonラッパーであり、大規模なスパース行列と線形演算子の効率的な部分特異値分解を実装します。

— マス周
ソース

2

インテルMKLは新しいJacobi-SVDアルゴリズムを実装しています。実装の詳細は次のとおりです。http ： //www.netlib.org/lapack/lawnspdf/lawn169.pdf http://www.fernuni-hagen.de/MATHPHYS/veselic/downloads/j02.pdf

そして、LAPACKルーチン：http : //software.intel.com/sites/products/documentation/hpc/mkl/mklman/GUID-732F9EE1-BCEC-4D9B-9B93-AF5499B21140.htm#DRMAC08-1

ワークサイズはもちろん調節可能です。Cython、SWIG、またはその他のラッピングメカニズムを使用して、PythonからC関数を簡単に呼び出すことができます。

— Tolga Birdal
ソース