サブセットの分布？

整数サブセットに何らかの種類の標準分布があるかどうか疑問に思っています。同様に、これをバイナリ結果の長ベクトルの分布として表すことができます。たとえば、場合、はベクトル対応します。 $\{1, 2, ..., J\}$ $J$ $J = 5$ $\{1, 3, 5\}$ $(1, 0, 1, 0, 1)$

理想的には、私が探しているのは、2つのバイナリベクトルとが同様の方法で質量を分布する、有限次元パラメータによってインデックスが付けられたファミリからの分布。それらが「近い」場合の確率、つまりとは同様の確率を持ちます。実際、私が希望することは、がかなり大きいことがわかっている場合、がから遠く離れたベクトルに比べておそらく大きくなるように、事前に設定することです。 $\nu_\theta (\cdot)$ $\theta$ $r_1$ $r_2$ $r_1 = (0, 0, 1, 0, 1)$ $r_2 = (0, 0, 1, 1, 1)$ $\theta$ $\nu_\theta (r_1)$ $\nu_\theta (r_2)$ $r_1$

頭に浮かぶ1つの戦略は、上のメトリックまたは分散液のいくつかの他の尺度を置くことであろうの、次に取る、または類似したもの。明示的な例は、正規分布と同様にになります。それは問題ありませんが、ベイジアン分析に適した標準的なものがあることを願っています。これでは、正規化定数を書き留めることはできません。 $d_\theta$ $\{0, 1\}^J$ $\nu_\theta (r) \propto \exp (-d_\theta (r, \mu))$ $\exp\left\{-\|r - \mu\|^2 / (2 \sigma^2)\right\}$

bayesian discrete-data

— 男
ソース

サブセットのサンプリングは、調査方法論の基本的な問題です。

— ステファン・ローラン

@Stephane確かですが、私の問題は、ディストリビューションに反映させたい望ましい構造がいくつかあるという点で異なります。距離についての漠然とした考えがあるので、サブセットについて質問するのは悪い考えかもしれません。

— 男

「...はおそらく小さい ...」と書くつもりですか？正規化定数に関する限り、メトリックにハミング距離を使用することを検討してください。分布のロケーションスケールファミリーの場合、項の合計としてその定数を計算できます。さらに、基準を満たすそのようなファミリはすべて、離散パラメータ（位置）と連続パラメータだけで記述できます。

v_{θ} (r_{2})

$v_\theta(r_2)$

J + 1

$J+1$

J

$J$

J

$J$

— whuber

@whuberいいえ、私は大きいことを意味しました。が、互いに近接する点の周りに質量を分散させたい。質問を超立方体の頂点に分布を置くこととして表現することはおそらくより適切であったでしょう。私はハミング距離を考えました（私の場合はと同じです）。として微調整したいと思うでしょう、そして私はおそらくそのような分布からサンプリングするためにいくつかのMCMCを行わなければならないでしょう。

ν_{θ} (\cdot)

$\nu_\theta (\cdot)$

L_{1}

$L_1$

\sum | \frac{r_{i} - μ_{i}}{σ_{i}} |

$\sum \left|\frac{r_i - \mu_i}{\sigma_i}\right|$

— 男

ああ、わかりました。しかし、それはあなたが最初に言ったことではありません。たとえば、特性評価で、が大きく、がから「遠く」離れたベクトルのセットであり、がにないベクトルである場合、も「おそらく」でなければなりません。大きくなる。しかし、「遠くない」と「近い」はまったく同じことを意味しません。コメントで行ったように条件を言い換えると、より簡単で、内部的には一貫性があります。しかし、いいえ。ハミング距離に基づいてロケーションスケール分布からサンプリングするためにMCMCを必要としません。はるかに効率的な方法があります。

ν (r_{1})

$\nu(r_1)$

R

$R$

r_{1}

$r_1$

r_{2}

$r_2$

R

$R$

ν (r_{2})

$\nu(r_2)$

— whuber

回答:

その豊富さ、柔軟性、および計算の扱いやすさのため、ハミング距離に基づいてロケーションファミリーを優先する場合があります。

表記と定義

基底がを持つ自由有限次元モジュールでは、2つのベクトル間のハミング距離およびは、である場所の数。 $V$ $\left(\mathbf{e}_1, \mathbf{e}_2, \ldots, \mathbf{e}_J\right)$ $\delta_H$ $\mathbf{v}=v_1 \mathbf{e}_1 + \cdots + v_J\mathbf{e}_J$ $\mathbf{w}=w_1 \mathbf{e}_1 + \cdots + w_J\mathbf{e}_J$ $i$ $v_i \ne w_i$

任意の原点与えられると、ハミング距離はを球、に。ここで、。グラウンドリングに要素がある、は要素があり、は要素があります。（これは、要素がと正確に場所で異なることを観察した直後です-その中に $\mathbf{v}_0\in V$ $V$ $S_i(\mathbf{v}_0)$ $i=0, 1, \ldots, J$ $S_i(\mathbf{v}_0) = \{\mathbf{w}\in V\ |\ \delta_H(\mathbf{w}, \mathbf{v}_0) = i\}$ $n$ $V$ $n^J$ $S_i(\mathbf{v})$ $\binom{J}{i}\left(n-1\right)^i$ $S_i(\mathbf{v})$ $\mathbf{v}$ $i$ $\binom{J}{i}$ 可能性-そして、それぞれの場所に独立しての値の選択肢があることをます。） $n-1$

アフィン変換は、分布に自然に作用してロケーションファミリーを提供します。具体的には、が上の任意の分布である場合（つまり、少し上回っている場合、はすべての、および）であり、は任意の要素で、も分布ですどこ $V$ $f$ $V$ $f:V\to [0,1]$ $f(\mathbf{v})\ge 0$ $\mathbf{v} \in V$ $\sum_{\mathbf{v}\in V}f(\mathbf{v})=1$ $\mathbf{w}$ $V$ $f^{(\mathbf{w})}$

f^{(w)} (v) = f (v - w)

$f^{(\mathbf{w})}(\mathbf{v}) = f(\mathbf{v}-\mathbf{w})$

すべてのための。ロケーションファミリー分布のこの作用の下で不変である：意味のためのすべての。 $\mathbf{v}\in V$ $\Omega$ $f\in \Omega$ $f^{(\mathbf{v})}\in \Omega$ $\mathbf{v}\in V$

建設

これにより、1つの固定ベクトルで形状を指定することにより、潜在的に興味深く有用な分布のファミリーを定義できます。便宜上、、そしての作用の下でこれらの「生成分布」を変換して、完全なファミリーを取得します。が近くの点で同等の値を持つべき望ましい特性を達成するには、単にすべての生成分布のその特性を要求します。 $\mathbf{v}$ $\mathbf{0} = (0,0,\ldots,0)$ $V$ $\Omega$ $f$

これがどのように機能するかを確認するために、距離が増加するにつれて減少するすべての分布のロケーションファミリーを構築しましょう。ハミング距離のみが可能であるため、負でない実数の減少するシーケンスを考える =。セットする $J+1$ $\mathbf{a}$ $0 \ne a_0 \ge a_1 \ge \cdots \ge a_J \ge 0$

A = \sum_{i = 0}^{J} (n - 1)^{i} (\binom{J}{i}) a_{i}

$A = \sum_{i=0}^J (n-1)^i\binom{J}{i} a_i$

機能を定義によって $f_\mathbf{a}:V\to [0,1]$

f_{a} (v) = \frac{a_{δ_{H} (0, v)}}{A} .

$f_\mathbf{a}(\mathbf{v}) = \frac{a_{\delta_H(\mathbf{0},\mathbf{v})}}{A}.$

次に、簡単に確認できるように、は上の分布です。また、場合にのみの正の倍数であるにおけるベクターとして（）。したがって、必要に応じて、を標準化することができます。 $f_\mathbf{a}$ $V$ $f_\mathbf{a} = f_{\mathbf{a}'}$ $\mathbf{a}'$ $\mathbf{a}$ $\mathbb{R}^{J+1}$ $\mathbf{a}$ $a_0=1$

したがって、この構造は、ハミング距離とともに減少するそのようなすべての位置不変分布の明示的なパラメーター化を提供します。そのような分布は、いくつかのシーケンスの形式はです。と一部ベクトル。 $f_\mathbf{a}^{(\mathbf{v})}$ $\mathbf{a} = 1 \ge a_1 \ge a_2 \ge \cdots \ge a_J \ge 0$ $\mathbf{v}\in V$

このパラメーター化により、事前分布の便利な指定が可能になる場合があります。それらを位置の事前形状事前分布に分解します。（もちろん、場所と形状が独立していない、より大きな事前分布のセットを検討することもできますが、これはより複雑な作業になります。） $\mathbf{v}$ $\mathbf{a}$

ランダムな値を生成する

からサンプリングする1つの方法は、球形の放射上の分布と各球を条件とする別の分布にそれを因数分解することによる段階です。 $f_\mathbf{a}^{(\mathbf{v})}$

確率によって与えられるの離散分布からインデックスを描画します。ここで、は以前のように定義されています。 $i$ $\{0,1,\ldots,J\}$ $\binom{J}{i}(n-1)^i a_i / A$ $A$
インデックスは、と正確に桁異なるベクトルのセットに対応します。したがって、可能なサブセットから配置するものを選択し、各等しい確率を与えます。（これはのほんの一例であるのうち添え字ずに交換。）のこのサブセットしてみましょう書くことが置か。 $i$ $\mathbf{v}$ $i$ $i$ $\binom{J}{i}$ $i$ $J$ $i$ $I$
すべてのに対してと等しくないスカラーのセットから値個別に選択して要素をし、それ以外の場合は設定します。同様に、ときはゼロ以外のスカラーからをランダムに均一に選択し、それ以外の場合は設定して、ベクトル作成します。セット。 $\mathbf{w}$ $w_j$ $v_j$ $j\in I$ $w_j=v_j$ $\mathbf{u}$ $u_j$ $j\in I$ $u_j=0$ $\mathbf{w} = \mathbf{v} + \mathbf{u}$

バイナリの場合、ステップ3は不要です。

例

ここRに説明する実装があります。

rHamming <- function(N=1, a=c(1,1,1), n=2, origin) {
  # Draw N random values from the distribution f_a^v where the ground ring
  # is {0,1,...,n-1} mod n and the vector space has dimension j = length(a)-1.
  j <- length(a) - 1
  if(missing(origin)) origin <- rep(0, j)

  # Draw radii `i` from the marginal distribution of the spherical radii.
  f <- sapply(0:j, function(i) (n-1)^i * choose(j,i) * a[i+1])
  i <- sample(0:j, N, replace=TRUE, prob=f)

  # Helper function: select nonzero elements of 1:(n-1) in exactly i places.
  h <- function(i) {
    x <- c(sample(1:(n-1), i, replace=TRUE), rep(0, j-i))
    sample(x, j, replace=FALSE)
  }

  # Draw elements from the conditional distribution over the spheres
  # and translate them by the origin.
  (sapply(i, h) + origin) %% n
}

その使用例として：

test <- rHamming(10^4, 2^(11:1), origin=rep(1,10))
hist(apply(test, 2, function(x) sum(x != 0)))

これは、分布から iid要素を描画するのに秒かかりましたここで、、（バイナリの場合）、、およびは指数関数的に減少しています。 $0.2$ $10^4$ $f_{\mathbf{a}}^{(\mathbf{v})}$ $J=10$ $n=2$ $\mathbf{v}=(1,1,\ldots,1)$ $\mathbf{a}=(2^{11},2^{10},\ldots,2^1)$

（このアルゴリズムはが減少していることを必要としないので、単峰性のものだけでなく、任意の位置ファミリからランダム変量を生成します。） $\mathbf{a}$

— whuber
ソース

これをありがとう！この場合のハミング距離は、であり、立方体の頂点に制限されます。その文脈では、ハミング距離は等方的に作用しています。距離測定に超える異なる値があるので、それから離れると、これらのことが複雑になると思いますか？これに関する一般的なコメントはありますか？

L_{1}

$L_1$

R^{J}

$\mathbb R^J$

J

$J$

— 男

はい：距離関数の選択は、の値が何を表すかによって異なります。質問は抽象的に定式化されているので、何が良い選択であるかについての意見を形成するために本当に何もすることはありません。ハミング距離は、名目値やおそらく他の場合にも適切ですが、セット固有の距離感がある場合、他の距離の方がうまく機能する可能性があります。バイナリの場合場合、ハミング距離を一般化することは困難です。それらはすでにかなり一般的です。

{1, 2, \dots, n}

$\{1,2,\ldots,n\}$

{1, 2, \dots, n}

$\{1,2,\ldots,n\}$

n = 2

$n=2$

— whuber

k決定点プロセスからのサンプルは、サブセットでの分布をモデル化して多様性を促進し、サンプル内で類似したアイテムが一緒に発生する可能性が低くなるようにします。Ben TaskarのAlex KuleszaによるK決定点プロセスのサンプリングを参照してください。

— 霊柩車
ソース