ログスペースの離散（カテゴリ）分布からサンプリングする方法を教えてください。

Iはベクトルによって定義された離散的な分布があると$\theta_0, \theta_1, ..., \theta_N$カテゴリなるように$0$確率で描画されます$\theta_0$とそうで。次に、分布の値の一部が非常に小さいため、コンピューターの浮動小数点数表現がアンダーフローすることを発見しました。そのため、すべての計算を対数空間で行います。今は対数空間ベクトル有する$log(\theta_0), log(\theta_1), ..., log(\theta_N)$。

それは、元の確率は（カテゴリを保持するように、分布からサンプリングすることも可能である$i$確率で描かれている$\theta_i$）が、これまでのログ・スペースを残しませんか？言い換えれば、アンダーフローなしでこの分布からどのようにサンプリングするのですか？

Gumbel-maxトリックを使用すると、ログスペースを残さずに、ログ確率を指定したカテゴリ分布からサンプリングできます。アイデアは、あなたが与えられている場合は、非正規化対数確率はということであるα 1、... 、α kのソフトマックス関数を使用して、適切な確率に変換することができ、$\alpha_1,\dots,\alpha_k$

$$p_i = \frac{\exp(\alpha_i)}{\sum_j \exp(\alpha_j)}$$

そのような分布からサンプルを次の場合事実使用することができの位置によってパラメータ化標準ガンベル分布から取られた独立したサンプルであるMを、$g_1,\dots,g_k \sim \mathcal{G}(0)$$m$

$$F(G \le g) = \exp(-\exp(-g+m))$$

それはそれを示すことができます（下記の参考文献を参照）

$$\DeclareMathOperator*{\argmax}{arg\,max} \begin{align} \argmax_i \,\{\, g_i + \alpha_i \,\} &\sim \frac{\exp(\alpha_i)}{\sum_j \exp(\alpha_j)} \\ \max_i\,\{\, g_i + \alpha_i \,\} &\sim \mathcal{G}(\; \log\sum_i\exp\{\alpha_i\}\;) \end{align}$$

そして、私たちは取ることができます

$$z = \argmax_i \,\{\, g_i + \alpha_i \,\}$$

$p_1,\dots,p_k$

$g_i=-\log(-\log u_i)$$u_i$$(0,1)$

---

Maddison、CJ、Tarlow、D.、＆Minka、T.（2014）。A *サンプリング。[In：]神経情報処理システムの進歩（pp。3086-3094）。

Yellott、JI（1977）。ルースの選択公理、サーストンの比較判断理論、および二重指数分布の間の関係。Journal of Mathematical Psychology、15（2）、109-144。

マディソン、CJ、Mnih、A。、およびTeh、YW（2016）。コンクリート分布：離散確率変数の連続緩和。arXivプレプリントarXiv：1611.00712。

Jang、E.、Gu、S.、＆Poole、B.（2016）。Gumbel-Softmaxによるカテゴリー再パラメーター化。arXivプレプリントarXiv：1611.01144。

マディソン、CJ（2016）。モンテカルロのポアソンプロセスモデル。arXivプレプリントarXiv：1602.05986。

アンダーフロー/オーバーフローを回避する一般的な方法を次に示します。

させる $m = \max_i \log(\theta_i)$。

させる $\theta_i' = \exp( \log(\theta_i) - m )$。

からサンプリングできます $\theta' = [\theta_1' , \theta_2',...]$。