マトリックス分解に関する重要な論文

最近、マトリックス分解に関するSkillicornの本を読みましたが、学部の聴衆を対象としていたため、少しがっかりしました。マトリックス分解に関する重要な論文（調査だけでなく、画期的な論文）の短い参考文献を（自分や他の人のために）編集したいと思います。私が念頭に置いているのは、主にSVD / PCA（および堅牢/スパースバリアント）とNNMFに関するものです。みなさんは、何か提案/提案がありますか？私は答えを偏らせないために私のものを控えています。各回答を2〜3論文に限定してください。

PS：これら2つの分解は、データ分析で最もよく使用されるものです。もちろん数値解析では、QR、コレスキー、LU、およびポーラーが非常に重要です。しかし、それは私の質問の焦点では​​ありません。

SVDとNMFが最もよく使用されていることをどのようにして知っていますか LU、Cholesky、QRではなくマトリックス分解である？私の個人的なお気に入りの「ブレークスルー」は、保証されたランクを明らかにするQRアルゴリズムでなければなりません。

• チャン、トニーF.「QR分解を明らかにするランク」。 線形代数とその応用巻88-89、1987年4月、67-82ページ。DOI：10.1016 / 0024-3795（87）90103-0

...列ピボットを使用したQRの以前のアイデアの開発：

• Businger、ピーター。ゴラブ、ジーン・H（1965）。ハウスホルダー変換による線形最小二乗ソリューション。Numerische Mathematik Volume 7、Number 3、269-276、DOI：10.1007 / BF01436084

A（？）古典的な教科書は次のようになります。

• ゴラブ、Gene H .; ヴァン・ローン、チャールズ・F（1996）。行列の計算（第3版）、ジョンズ・ホプキンス大学、ISBN 978-0-8018-5414-9。

（教科書を求めなかったのは知っているが、抵抗できない）

編集： もう少しグーグル検索では、私たちがわずかにネズミイルカにいる可能性があることを示唆する論文を見つけます。私の上記のテキストは「数値線形代数」（NLA）の観点から来ていました。おそらく、「応用統計/心理測定」（AS / P）の観点に関心がありますか？おそらく明確にできますか？

• ローレンス・ヒューバート、ジャクリーン・ミュールマン、ウィレム・ハイザー。行列因子分解の2つの目的：歴史的評価。 SIAM Review Vol。42、No。1（2000年3月）、pp。68-82

NNMFについて、LeeとSeungは、実装が非常に簡単な反復アルゴリズムについて説明します。実際には、フロベニウスの残差ノルムを最小化するためのアルゴリズムと、近似と元の行列のKullback-Leibler発散を最小化するためのアルゴリズムの2つの類似したアルゴリズムを提供します。

• ダニエルリー、H。セバスチャンスン、非負行列因子分解アルゴリズム、ニューラル情報処理システムの進歩13：2000年会議の議事録。MIT Press。pp。556–562。

たぶん、あなたは面白いを見つけることができます

1. [行列因子分解による学習]によるネイサン・スレブロによる博士論文、
2. [大規模推薦システムのためのさまざまな行列因数分解法の調査]、GáborTakácset.al. ここで説明したほぼ同じテクニック

最後の2つのリンクは、協調フィルタリングでスパース行列因数分解がどのように使用されるかを示しています。ただし、SGDのような因数分解アルゴリズムは他のどこかで役立つ可能性があると思います（少なくともコーディングは非常に簡単です）

Witten、Tibshirani-ペナルティ付きマトリックス分解

http://www.biostat.washington.edu/~dwitten/Papers/pmd.pdf

http://cran.r-project.org/web/packages/PMA/index.html

Martinsson、Rokhlin、Szlam、Tygert-ランダム化されたSVD

http://cims.nyu.edu/~tygert/software.html

http://cims.nyu.edu/~tygert/blanczos.pdf

今年のNIPSでは、ストリーミング入力マトリックスのシングルパスで機能する分散型の非常に大規模なSVDに関する短い論文がありました。

この論文はより実装指向ですが、実際の壁時計時間などすべてを考慮して物事を見通します。冒頭近くの表も良い調査です。