数値積分が高すぎるとはどういう意味ですか？

ベイジアン推論について読んでいて、「限界尤度の数値積分は高すぎる」というフレーズに出会いました

私は数学のバックグラウンドを持っていませんが、ここで高価とはどういう意味か疑問に思っていましたか？それは単に計算能力の観点からですか、それとも何かありますか。

— 離散時間
ソース

これは、おそらくCPU時間の観点から、計算能力が大きすぎることを意味します（すべてのコンピューティングリソースは基本的にメモリまたはCPUであるため）。

— Sycoraxが復活モニカ言う

実際、通信帯域幅が問題になる場合があります（たとえば、キャッシュ/ RAM /ディスクをシリアルで、または計算ノードを並列で）。

— GeoMatt22

計算を実行するのに、1台のコンピューター、コンピューターのネットワークにとっては時間がかかりすぎることを意味します。

— ジャックマディントン16年

また、ループ内で限界尤度が必要な場合、高すぎると見なされるものははるかに少なくなります。例えば。あなたが...それを1万回を行う必要がある場合は、1秒間の積分ルーチンの音が速いが、それは「高すぎる」であってもよい

— マシューガンを

計算に時間がかかりすぎる、または妥当な時間内に行うにはプロセッサが多すぎるなど、計算に手間がかかるため、計算にかかるコストが高くなります。

— user253751

回答:

ベイジアン推論の数値的方法を含む計算問題の文脈では、「あまりにも高価」というフレーズは、一般に2つの問題を指す場合があります

特定の問題は、特定の「のために計算するにはあまりにも「大」である予算」
一般的なアプローチはスケーリングがひどく、つまり計算の複雑さが高い

いずれの場合も、「予算」を構成する計算リソースは、CPUサイクル（時間の複雑度）、メモリ（スペースの複雑度）、または通信帯域幅（計算ノード内または計算ノード間）などで構成されます。2番目の例では、「高すぎる」とは手に負えないことを意味します。

ベイジアン計算のコンテキストでは、引用は、多くの変数の周辺化の問題を指している可能性があります。

たとえば、この最近の論文の要約は始まります

統合は次元の呪いの影響を受け、問題の次元が大きくなるとすぐに手に負えなくなります。

そして言い続ける

たとえば、限界計算やモデル選択などに使用できるランダム化アルゴリズムを提案します。

（比較のために、この最近の本の章では、「あまり高価ではない」と考えられる方法について説明しています。）

— GeoMatt22
ソース

これは素晴らしい答えです。ただし、「高価な」ものが文字通り非常に多くなることもあります。-一つは、非常に簡単にこれらの日（と、かなり安く）（限り一つとしてニーズのために、スーパーコンピュータレベルに）劇的1の計算能力とストレージを増やすことができます...しかし、大規模な問題のためにそれはまだであることが動作しますあまりにも高価 - -それはあなたが利用できるよりも文字通り実際のお金がかかるという点で。

— Glen_b -Reinstateモニカ

@Glen_bそれは良い点です！公開された文献ではこの意味はあまり一般的ではないと思いますが、提案（およびそのレビュー！）ではより一般的です

— -GeoMatt22

@ GeoMatt22考えてみると、実際には同じ意味を表す別の方法です。

— user253751

@ GeoMatt22ありがとうございます！私は今、ベイジアンの文脈で高価とはどういう意味かを完全に理解しています。

— 離散時間

離散ケースの例を挙げて、なぜ統合/合計が非常に高価なのかを示します。

$100$ $P(X_1, X_2, \cdots, X_{100})$ $2^{100}$

$P(X_1)$

P (X_{1}) = \sum_{X_{2}} \sum_{X_{3}} \dots \sum_{X_{100}} P (X_{1}, X_{2}, \dots, X_{100})

$P(X_1)=\sum_{X_2}\sum_{X_3}\cdots \sum_{X_{100}}P(X_1, X_2, \cdots, X_{100})$

$99$ $2^{99}$

確率的グラフィカルモデルの文献、周辺分布を計算するよう「推論」を実行する「ブルートフォース」アプローチと呼ばれます。名前では、それが高価であることを知っているかもしれません。そして、人々は推論を実行するために他の多くの方法を使用します。例えば、周辺分布を効果的に取得します。おおよその推論などを含む「その他の方法」

— ハイタオドゥ
ソース

このコンテキストで提起された質問として、ベイジアンアプローチがここで役立つ理由についてコメントすることもできます。

— ティム

通常、ベイジアン推論を実行するとき、たとえば迷惑な変数を介した激しい統合に遭遇するのは簡単です。別の例として、この場合の尤度関数からの数値サンプリングがあります。これは、所定の分布からランダムサンプリングを実行することを意味します。モデルパラメーターの数が増えると、このサンプリングが非常に重くなり、さまざまな計算手法が開発されて手順が高速化され、非常に高速な実装が可能になり、もちろん高い精度が保たれます。これらの技法は、たとえばMC、MCMC、Metropolis eccです。Gelman et。によるベイジアンデータ分析をご覧ください。それはあなたに幅広い紹介を与えるはずです！幸運を

— Lcol
ソース

この答えは、この文脈での「高価な」の意味に関するOPの主な質問に対処していないようです。または、少なくともあまり明確ではありません。

— シャッフルパンツ

簡単な説明は、ベイジアン統計で特定の分析を実行するときに計算機の需要の意味を読者に紹介するためです。とにかくそれが誰かに明らかだったことを願っています

— -Lcol