Aのサブセットをランダムにサンプリングして、セットAのサブセットXのサイズを推定できますか？

8

してみましょう有限集合であると我々はいくつかのサブセットの大きさを計算したいと。 $A$ $X$

動機：要素をランダムに均一に生成できる場合、ランダムサンプリングによってのサイズを推定できます。それは我々が取る、あるから無作為標本を場合、彼らの所属する、その後、。残念ながら、私が行うことについては、通常巨大で（大規模であるが）に関してはかなり小さい。したがって、上記の推定を実行しようとすると、になる可能性がありますこれは、役に立たないわけではありませんが、実際にはそれほど満足できるものではありません。 $x$ $A$ $A$ $n$ $A$ $m$ $X$ $|X|/|A| \approx m/n$ $|A|$ $|X|$ $|A|$ $m=0$

だから、私はこのプロセスをスピードアップしたいと思っています。大規模なダーツボードでダーツを投げる代わりに、なぜボールを投げないのですか？それは代わりに要素をサンプリングする、あるの、我々のサンプル部分集合。確かに私は、密度について何かを推測することができるはずでこの実験から。 $x \in A$ $A$ $X$ $A$

が計量備えていると仮定します（私はハミング距離を念頭に置いています）。任意の、は、を中心とするの半径閉じたボールになります。要素をランダムに均一にサンプリングできるため、ボールをランダムに均一にサンプリングできます。 $A$ $d(x,y)$ $y \in A$ $Y(y)=\{x \in A:d(x,y) \leq k\}$ $k$ $A$ $t$ $x \in A$ $k$ $Y_k(t)$

（a）すべてのがまったく同じ数のボールに属し、（b）すべてのボールが同じサイズあると仮定します。 $x \in A$ $k$ $k$ $r$

ここで、ボールをランダムに均一に生成し、を仮定するとします。推定できるようです同様に、。 $k$ $Y_1,Y_2,\ldots,Y_n$ $m=\sum_{i=1}^n |Y_i \cap X|$ $|A|$ $|X|/|A| \approx \frac{m}{rn}$

だから私の質問は：

近似できるという点で正しいですかこちらです？もしそうなら、私がこれを最初に考えるとは思えないので、この方法の名前はありますか？ $|X|$

私は実際にいくつかのセットでこれをテストしました、そしてそれは私が主張するものと一致しているようです。

このアプローチには欠点がありますか？（たとえば、精度が低いですか？より多くのサンプルが必要ですか？）

estimation

— ダグラス・S・ストーンズ
ソース

2番目の段落で、少し間違えたと思います。そうでなければ、あなたがしていることは基本的にモンテカルロ統合を再発明することです、まあ、私がまだ遭遇していないサブセットバージョンですが、それがすでに終わっていても私は驚かないでしょう。

| X | / | A | \approx m / n

$|X|/|A| \approx m/n$

— Raskolnikov 2010

ありがとう、はい、それは間違いでした（実際、後で同様の問題もありました）。

— Douglas S. Stones

3

OK、モンテカルロ統合の Wikipediaページを読んでみてください。あなたは彼らが層別化されたバージョンについて言及しているのを見るでしょう。層別化は、試行する統計の専門用語です。サブセット（サブサンプル）に細分します。参照はあなたをさらに助けることができると思います。

— ラスコルニコフ
ソース

3

サブセットについて、サンプリングで選択する確率とします。確率変数を記述しました $Y$ $A$ $\pi(Y)$

f (Y) = | Y \cap X | .

$f(Y) = |Y \cap X|.$

のサブセットの母集団におけるの合計は、 $f$ $A$

τ (X) = \sum_{Y \subset A} | Y \cap X | = 2^{| A | - 1} | X | .

$\tau(X) = \sum_{Y \subset A}|Y \cap X| = 2^{|A|-1}|X|.$

のサブセットのサンプル（置換あり）、たとえばから、Hansen-Hurwitz Estimatorはこの合計の不偏推定を次のように取得します。 $A$ $Y_1, Y_2, \ldots, Y_m$

{\hat{f}}_{π} = \sum_{i = 1}^{m} \frac{| Y_{i} \cap X |}{π (Y_{i})} .

$\hat{f}_\pi = \sum_{i=1}^{m} \frac{|Y_i \cap X|}{\pi(Y_i)} .$

これを割るしたがって、推定します。の分散は $2^{|A|-1}|A|$ $|X|/|A|$ $\hat{f}_\pi$

Var ({\hat{f}}_{π}) = \frac{1}{m} \sum_{Y \subset A} π (Y) {(\frac{| Y \cap X |}{π (Y)} - 2^{| A | - 1} | X |)}^{2} .

$\text{Var}(\hat{f}_\pi) = \frac{1}{m} \sum_{Y \subset A} \pi(Y) \left( \frac{|Y \cap X|}{\pi(Y)} - 2^{|A|-1}|X| \right)^2\text{.}$

これを割ると、標本分散が得られます。、、および提案されたサンプリング手順（すべてのに対してを指定が与えられた場合、推定分散が許容できるほど小さくなる（サンプルサイズ）の値を選択します。 $2^{2(|A|-1)}|A|^2$ $|X|/|A|$ $A$ $X$ $\pi(Y)$ $Y \subset A$ $m$

— whuber
ソース

すばらしい、これが答えだと思います！ハンセンハーヴィッツは知りませんでした...

— ロビンギラード

2

あなたの測定は有限だと思います。WLOGは確率の可能性があります。

あなたが言及する最初の手順は古き良き経験的確率推定です：

$\hat{P}(Y\in X)= | \{ x_i \in X\} | /n$

（積分のモンテカルロ推定も良い解釈です）。高次元では、は通常のAでは空である可能性が高いため機能しません。気づいたように、正則化が必要です。必要な正則化は、空間の大きさに関係します。 $\{x_i\in X\}$

アイデアが拡大された、あるいはに重みを与えるにないまでの距離に応じて、これは私が呼んウルド何であるカーネル確率推定値（の類推により、カーネル密度推定を）： $X$ $x_i$ $X$ $X$

$\hat{P}(Y\in X)= 1/(c(k) n)\sum_{i} K(d(x_i,X)/k)$

ここで、は統合するカーネルです（あなたの場合はかまいませんが、ガウスカーネルは優れた特性を持っています）、は適切に選択された正規化定数（つまりその）。 $K$ $1$ $K(x)=1\{x\leq 1\}$ $c(k)$ $\hat{P}(Y\in A)=1$

— ロビン・ジラード
ソース