確率分布と計算の複雑さ

この質問は、確率論と計算の複雑さの交差についてです。重要な観察の1つは、一部の分布は他の分布よりも生成が容易であることです。たとえば、問題

数所与、一様に分布数を返すで。 $n$ $i$ $0 \leq i < n$

解決は簡単です。一方、次の問題は、はるかに困難であるか、そのように見えます。

数値 $n$ 、がペアノ演算で長さnの有効な証明（のゲーデル数）になるような数値返します。さらに、そのような証明の数がである場合、長さ特定の証明を取得する確率はなければなりません。 $i$ $i$ $pr(n)$ $n$ $\frac{1}{pr(n)}$ 。

これは、確率分布には計算の複雑さの概念が伴うことを私に示唆しています。さらに、この複雑さはおそらく、潜在的な決定問題（ $P$ 、 $EXP$ などの再帰的、再帰的、再帰的に列挙可能、またはそれより悪いかどうか）と密接に関連しています。

私の質問は、確率分布の計算の複雑さをどのように定義するか、特に根本的な決定問題が決定可能でない場合です。これはすでに調査されていると思いますが、どこを見ればよいかわかりません。

— マーティン・バーガー
ソース

別の興味深い例（しかし決定可能です）は、量子フーリエ変換です。与えられたはの確率が比例するように返します、。

f (k) = a^{k} \mod b

$f(k)=a^k \mod b$

l \in [0, N]

$l \in [0,N]$

l

$l$

| F (l) |

$\left|F(l)\right|$

F (l) = \sum_{k = 0}^{N} f (k) e^{- 2 π i k l / N}

$F(l) = \sum_{k=0}^N f(k) e^{-2\pi ikl/N}$

— Wandering Logic

どちらの例も、離散一様分布です。計算するのがいかに難しいかによって、複雑さが異なると思いますここで、はサポートです。

| χ |

$|\chi|$

χ

$\chi$

— Nicholas Mancuso 14年

@NicholasMancuso私はカウント+フォームの選択が常に使用できることに同意します。したがって、ある意味でそれは上限を与えます。これで説明できるのはこれだけですか？これは文献のどこで調査されましたか？

— Martin Berger 14年

@NicholasMancuso私が与える例は均一な分布です。しかし、不均一な分布について同じ質問をすることができます。分布についても疑問に思うかもしれません。よろしく離散分布のよう：一応、カウントは、一般的には十分ではありません、あなたも生成できるようにする必要がありあなたが一様に選択した後、番目の要素を。とは言っても、数え上げが問題の核心であるケースかもしれません。

R

$\mathbb{R}$

i

$i$

i

$i$

— Martin Berger 14年

@ニコスおかげで、しかし、そのリンクも基になるディストリビューションの複雑さについて何も言っていません。リファレンスは、均一分布の変換について話します。しかし、その変換は難しい/または計算上簡単かもしれません。

ϕ

$\phi$

— Martin Berger 14年

確率分布の複雑さは、平均ケース複雑性理論のレビン理論におけるDistNPのような分布問題の研究で特に現れます。

累積密度関数を多項式時間で評価できる場合、分布はP計算可能です。

それらから多項式時間でサンプリングできる場合、分布はPサンプリング可能です。

分布がP計算可能であれば、Pサンプリング可能です。特定の一方向関数が存在する場合、その逆は当てはまりません。

定義を他の複雑度クラスに拡張できます。

Oded Goldreichには、確認したいトピックに関する素晴らしい紹介ノートがあります。

— カヴェ
ソース

おかげで、私は標本化可能な分布の理論が私が探していたもののようなものだと思います。ただし、注意をに限定する理由はありません。複雑度クラス標本分布を定義できます。ますます重要になってきている確率論的プログラミング言語の最近の台頭。

P

$P$

P

$P$

C

$C$

C

$C$

— Martin Berger

@マーティン、はい。あった確率的プログラミングのチュートリアルが（スライドが、私はそれは非常に興味深い見つけ出席の人々を聞いたNIPS 2015で、ビデオはよくとして掲載される予定です）。ML / StatsとPLの交差点で作業している人々に会えてうれしいです。:)

— Kaveh

はい、主な問題は、そのような言語（=汎用のプログラム可能なサンプラー）が遅いことです。どうすればスピードアップできますか？

— Martin Berger