統計における密行列の使用にはどのようなものがありますか？

わかりました、私は統計学者ではありません（近いわけではありません）。私はハイパフォーマンスコンピューティングの研究者であり、大規模な（5000x5000を超える）高密度行列のテストケースをいくつか望んでいました。私はここと他のいくつかの場所に尋ねましたが、統計家からの返事はありませんでした。統計の問題について自分のコードを試すことに非常に興味があります。解決する必要がある統計のアプリケーションを提案できますか $Ax=b$ xの場合 $A$ 密で正方形です。

Aに構造がない、つまり対称性がない、正定性がないなどのアプリケーションも提供していただければ幸いです。しかし、それは必ずしも必要ではありません。適切なアプリケーションを備えた大規模な密行列で十分です。

この質問が未解決または曖昧に見える場合は申し訳ありませんが、この質問をするためのより良い場所を想像することはできません。

large-data matrix

— コミュニティ
ソース

私の頭に浮かぶかなり基本的な例は、混合効果モデリング用のRのlme4パッケージです。これは、スパースな設計行列に依存して多くのランダム効果を処理します。しかし、あなたはまばらな入力にもっと興味を持っているように思います、私は正しいのですか？

— 12

いいえ、私は理想的に密行列Aをしたい、それが無い対称性とほぼ完全な緻密であるべき

「解決する」と言うとき

A x = b

$Ax=b$ 密に

A

$A$ 」、つまり「解決する」という意味ですか

A x = b

$Ax=b$ ために

x

$x$ 、どこ

A

$A$ 密度が高い」

— ワンストップ

はい。悪いショートカットでごめんなさい。それが私の言いたいことです。たとえば、A = rand（5000,5000）; b = rand（5000,1）; solve（A、x、b）; randが1と2の間の均一な分布を与えると仮定します

たとえばscikit-learnのsamples_generatorなどに、回帰問題のジェネレーターがあり、他にも確かにあります。しかし、私を訂正してください。

A x = b

$Ax = b$ Lapackなどではかなり高速です。堅牢な方法、大きな/まばらな/ 不十分に決定されたシステムなどの市場のほうが多いと思います...とにかく、あなたもmetaoptimizeに尋ねるかもしれません。

— denis

回答:

Java Matrix Benchmarkが役立つかもしれません。マトリックス市場は、それは多くの例があるが、あなたが望むものを持っていないようです。

— ジャンヴィクトルコテ
ソース

これは私の質問に完全に答えることはできませんでしたが、可能な答えに導きました：math.nist.gov/MatrixMarket/data/misc/xlatmr/xlatmr.html

ここは大きいですが、十分な密度があるかどうかはわかりません。http://www.grouplens.org/node/73から

MovieLens 100k-1700本の映画の1000ユーザーからの100,000件の評価で構成されます。
MovieLens 1M-4000本の映画で6000人のユーザーからの100万の評価で構成されます。
MovieLens 10M-72,000ユーザーが10,000本の映画に適用した1000万の評価と100,000のタグアプリケーションで構成されています。

— ジャック・タナー
ソース

1.密集度が最も重要であり、形成されるマトリックスが密集していることを疑います。2.これはAx = bとどのように関連していますか？ランダムで大きな統計ではなく、統計アプリケーションが必要です。

統計アプリケーションは協調フィルタリングです。ユーザーx映画のマトリックスが与えられたら、ユーザーがまだ見たことのない映画にユーザーが与える評価を予測します。Amazon.comスタイルの製品推奨を検討してください。そのようなユーザー項目の設定の大きな行列はまばらである傾向がありますが、本当にロングテールのものを取り除くことができます。

— ジャックタナー

「このようなユーザーアイテム設定の大きな行列はまばらである傾向があります」密度は最重要事項ですロングテールの要素が何であるかはわかりませんが、それでも構造化されていない完全な高密度の行列につながるとは思えません。

あなたが探しているアプリケーションが統計的なコンテキストで意味をなすかどうかはわかりません。興味があるのは線形回帰分析です。 $A\in R^{m\times n}$ の行列です $m$ 各行が1つの測定値である測定 $n$ 変数。可能性のある2つの潜在的なアプリケーション $n>5000$ 私の頭に来ます。1）DNAマイクロアレイ分析および2）機能的MRIデータの分析。いずれにしても、データセットを見つけるのは難しいでしょう $m>5000$ その中に人（測定値）。

ただし、あなたの要件 $m=n$ そのような分析の意味を原則的な方法で制限します。すべての統計が根底にあるものを推定することについてであるとしましょう。たとえば、ノイズの多いデータから真実を考えます。つまり、質問に暗黙的な統計モデルは

b = a^{T} x + ϵ

$b=a^Tx + \epsilon$ どこ

a

$a$ 単一の測定であり、

x

$x$ 分析で見つけようとする想定パラメーターであり、

ϵ

$\epsilon$ 何らかの形のノイズです。今あなたはそれを言う

A

$A$ 可逆である必要があります。つまり、フルランクでなければなりません。つまり、測定値です。

a

$a$ 繰り返さないでください。つまり、ノイズのある観測が1つしかありません。

b

$b$ あたり

a

$a$ パラメータを推定しようとするのは非常に悪い状況です

x

$x$ 、特に、パラメータの数が測定の数を超える（または等しい）場合。次に、モデルは単にデータのノイズに適合します。これはオーバーフィットと呼ばれます。

— sbitzer
ソース