サンプリングできない単変量分布はありますか？

単変量分布（逆変換、アクセプトリジェクト、メトロポリスヘイスティングスなど）からランダムに生成するためのさまざまな方法があり、文字通り任意の有効な分布からサンプリングできるようです-それは本当ですか？

ランダムに生成することが不可能な単変量分布の例を提供できますか？私は「不可能」によって、我々はまた、ある場合を意味することだと言うてみましょう（？）それは不可能であるという例が存在していないと思い、非常にちょうどAを受け入れるために、サンプルの膨大な量を描くような必要性のブルートフォースシミュレーションこと例えば、計算コストをそれらのいくつか。

そのような例が存在しない場合は、我々は実際に描画し、我々はランダム生成できることを証明することができます任意の有効な分布？これに反例が存在するかどうか、私は単に興味があります。

累積分布関数がわかっている場合は、分析的または数値的に、それを反転し、逆変換サンプリング法を使用してランダムサンプルhttps://en.wikipedia.org/wiki/Inverse_transform_samplingを生成できます。$F(x)$

定義。これは、連続的、離散的、または組み合わせを問わず、あらゆる分布を処理します。これは常に数値的に、そしておそらく分析的にも解決できます。UをUniform [0,1]として分布するランダム変数からのサンプル、つまり、uniform [0,1]乱数ジェネレーターからのサンプルとします。この 場合、上記のように定義されたF − 1（U ）は、分布F （x ）を持つランダム変数からのランダムサンプルです。 $F^{-1}(y) = inf(x:F(x) \ge y)$$F^{-1}(U)$$F(x)$

これはランダムサンプルを生成する最速の方法ではないかもしれませんが、F（x）が既知であると仮定して、方法です。

F（x）が不明な場合、それは別の話です。

分布のみ、そのモーメント生成関数によって定義されている場合、又はその特性関数によりΦ （T ）= E [ EXP { I T X } ]、稀である方法を見つけることそれらの分布から生成する。$\phi(t)=\mathbb{E}[\exp\{tX\}]$$\Phi(t)=\mathbb{E}[\exp\{itX\}]$

関連する例は、密度またはcdfの既知の形式、モーメント生成関数はありませんが、閉形式の特性関数を持つ安定分布$\alpha$で構成されています。

ベイジアン統計では、難治性の尤度に関連付けられた事後分布、または1台のコンピューターに収まるには大きすぎるデータセットは、（正確に）シミュレートすることが不可能と見なされます。

連続分布を参照すると仮定します。使用することにより、確率積分変換、あなたは、任意の単変量分布からシミュレートすることができますシミュレートすることにより、uと〜（0 、1 ）、その後は服用F - 1（U ）。したがって、ユニフォームをシミュレートすれば、その部分は完了です。Fからのシミュレーションを妨げる可能性があるのは、その逆F − 1を計算できないことだけですが、これは理論的なものではなく、計算の困難さに関連する必要があります。$F$$u \sim (0,1)$$F^{-1}(u)$$F$$F^{-1}$

${\bf \theta} = (\theta_1,...,\theta_d)$$\theta_j$

場合によっては、この事後から近似的にサンプリングする方法がありますが、現時点では正確な一般的な方法はありません。

Not sure if this is really an answer ... I am guessing (but do not know) that one cannot sample from an only finitely additive distribution. An example would be the uniform distribution on the rational numbers, which only can exist as a finitely additive distribution. To see this, let $(q_i)_{i=1}^\infty$ be an enumeration of the rationals. Since the distribution is uniform, $P(X=q_i)=0$ for any individual $i$, so $\sum_{i=1}^\infty P(X=q_i)=0$ but $P(X\in \mathbb{Q})=1$.

If this answer looks strange and even irrelevant, look at more practical examples which are sometimes used in Bayesian inference: A uniform prior distribution on a real parameter, such as the mean of a normal distribution, say $\mu$. That can be modeled by a "density" (not a real probability density) which is identically one: $\pi(\mu) = 1$. Such a prior can be used in Bayesian analysis (and is sometimes used, see the classic book by Box & Tiao), but we cannot sample from it. And, the probability distribution defined that way is only finitely additive, which you can see by an argument similar to the rational number example above.

Could you provide any example of univariate distribution that is impossible to random generate from?

Let $c$ be Chaitin's Constant, and sample the (distribution of the) random variable which is constantly $c$.

If you're only interested in sampling random variables whose values can be reasonably approximated by 64-bit floating-point numbers, or you have some similar tolerance for finite error in the value, and you weren't representing your samples a Turing machines anyways, consider this:

Let $X \sim \text{Ber}(p)$ with $p = 1 - c$ and try to sample it. The values $0$ and $1$ are perfectly representable (in e.g. 64 bit floats with no error), but I think you'll generate them at incorrect frequencies unless you solve the halting problem.

The two CDFs are piecewise constant: one is $0$ on $(-∞, c)$ and $1$ on $[c, ∞)$. The other is $0$ on $(-∞, 0)$, then $c$ on $[0, 1)$ and $1$ on $[1, ∞)$. That is, one makes $c$ relevant on the $x$-axis, the other on the $y$-axis. I'm not sure which makes sampling most difficult, so pick the one you (dis)like the most ;-)

let's say that by "impossible" we mean also cases that are very computationally expensive, e.g. that need brute-force simulations like drawing huge amounts of samples to accept just a few of them.

In this case, obvious answer seems obvious:

• Sample uniformly the prime factors of $n$ where $n$ is large (i.e. break RSA).
• Sample the preimages of a cryptographic hash function (i.e. generate bitcoin and break git and mercurial).
• Sample the set of optimal Go strategies (with Chinese superko rules, which make all games finite—as far as I understand).

A bit more formally: I give you a large instance of an NP-complete problem (or EXP-complete, etc.) and ask you to uniformly sample the set of solutions for me.

Probably I should accept $\bot$ as a solution to no-instances (and no-instances only, and it would be the only solution). I should also come up with a bijection between e.g. integers (assuming you want to sample members of $\mathbb{R}$) and solutions—which is often fairly trivial, just treat base 2 representations as truth assignments for my SAT instance, for example, and maybe use $-1$ to represent $\bot$.

You can easily check whether any given truth assignment satisfies my SAT instance, and having checked them all you know whether any one does, so I have fully specified a CDF by giving you a boolean formula (or circuit), yet to sample the corresponding distribution you have to essentially become something at least as powerful as a SAT-solvability oracle.

So I gave you an uncomputable number which should throw sand in your gears, and I gave you a CDF that's slow to calculate. Maybe the next obvious question to ask is something like this: is there a CDF represented in some efficient form (e.g. can be evaluated in polynomial time) such that it's hard to generate samples with that distribution? I don't know the answer to that one. I don't know the answer to that one.