ブルームフィルターのおおよその母集団の計算

12

サイズNビットのブルームフィルターとK個のハッシュ関数があり、そのうちMビット（M <= N）のフィルターが設定されているとします。

ブルームフィルターに挿入された要素の数を概算することはできますか？

簡単な例

100ビットのBFと、10ビットが設定されている5つのハッシュ関数を想定して、次の例を熟考しています...

ベストケースのシナリオ：ハッシュ関数が本当に完璧で、X個の値にビットを一意にマッピングし、10ビットが設定されていると仮定すると、BFに挿入された要素は2つだけであると言えます。

最悪の場合のシナリオ：ハッシュ関数が不良であり、常に同じビットにマップされていると仮定すると（相互に一意である場合）、BFに10個の要素が挿入されたと言えます

範囲は[2,10]のようです。この範囲の約は、おそらくフィルターの偽陽性確率によって決定されます-私はこの時点で立ち往生しています。

ds.data-structures pr.probability

— タンダークリプ
ソース

4

挿入された要素の数のカウンターを保持しないのはなぜですか？

要素を挿入した場合、追加の

ビットのみが必要です。

O (\log n)

$O(\log n)$

n

$n$

— ジョー

@Joe、それは良い考えですが、本当に興味深い質問を台無しにします。

— dan_waterworth

重複があることに注意してください。Joeのメソッドには、要素を追加するときに、要素が既に存在するかどうかを常に確認できないため（したがって、カウントをインクリメントする必要があるため）、小さなエラーが発生します。

— -usul

5

はい。ウィキペディアから：

ハッシュ関数を使用して、サイズフィルターに要素を挿入した場合、特定のビットがまだ0である確率は $i$ $n$ $k$

z = {(1 - \frac{1}{n})}^{k i}

$z = \left(1 - \frac{1}{n}\right)^{ki}$

この確率は、フィルターの0ビットの割合として測定できます。解くいます $i$

i = \frac{\ln (z)}{k \ln (1 - \frac{1}{n})}

$i = \frac{\ln(z)}{k\ln\left(1 - \frac{1}{n}\right)}$

実際にこれを使用しましたが、フィルターがその容量を超えない限り、最大数百万ビットのフィルターのエラーは通常0.1％未満です。フィルターがその容量を超えると、もちろんエラーが上がります。

— ジェイ・ハッカー
ソース

3

各オブジェクトの各ハッシュ関数について、ビットがランダムに均一に設定され、設定されたビット数にカウントがあると仮定すると、挿入されたオブジェクト数が発生する確率を制限できるはずです。特定の範囲内で、おそらくボールとビンの処方を使用します。各ビットはビンであり、少なくとも1つのボールがある場合に設定され、挿入された各オブジェクトはボールをスローします。ここで、はハッシュ関数の数、はオブジェクトが挿入された後にスローされるボールの数です。ことを考えるとビンがそれらに少なくとも1個のボールを持って、少なくとも確率何ボールが投げられましたの？ここでは、次の事実を使用できると思います。 $k$ $k$ $nk$ $n$ $b$ $t$ しかし、その製剤の問題は、私が計算する簡単な方法が表示されないということであるまたは、その確率を最大化するの値を見つけることは難しくありません。

P (t balls | b bins) = P (b bins | t balls) \cdot P (t) / P (b)

$P( t \mbox{ balls} | b \mbox{ bins} ) = P(b \mbox{ bins}| t \mbox{ balls}) \cdot P(t)/P(b)$

P (t)

$P(t)$

P (b)

$P(b)$

t

$t$

— ジョー
ソース

2

興味深い質問、いくつかの特定のケースを見てみましょう。

そこであるとするキー、上のビット、合計とのビット挿入要素。最初に、状態が発生する確率である関数を見つけようとします。 $k$ $n_{on}$ $n_{total}$ $m$ $P(k, n_{on}, n_{total}, m)$

場合、次にでなければならない、すなわち、それは不可能です。 $km \lt n_{on}$ $P(k, n_{on}, n_{total}, m)$ $0$

場合、ハッシュが同じバケットに入る可能性を探しています。最初のハッシュは他のハッシュがどこに行くべきかをマークできます。そのため、ハッシュが特定のバケットに入る確率を見つけたいと思います。 $n_{on} = 1$ $km$ $km - 1$

$P(k, 1, n_{total}, m) = (1/n_{total})^{(km-1)}$

それは本当に簡単なケースです。場合、が異なるバケットに着地し、それぞれに少なくともつのバケットが落ちる確率を求めます。あるバケットの組と、任意の特定におけるハッシュランド確率ある $n_{on} = 2$ $km$ $2$ $1$ $n_{total}(n_{total} - 1)$ $2$ $(2/n_{total})^{km}$ そのため、ハッシュが最大バケットに入る確率は次のとおりです。 $2$

$n_{total}(n_{total} - 1)(2/n_{total})^{km}$

それらがバケットに収まる確率はすでにわかっているので、それらを減算して、正確に収まる確率を求めます。 $1$ $2$

$P(k, 2, n_{total}, m) = n_{total}(n_{total} - 1)(2/n_{total})^{km} - (1/n_{total})^{(km-1)}$

今、これを一般化できると思います。

$P(k, n_{on}, n_{total}, m) = {n_{total} \choose n_{on}}(n_{on}/n_{total})^{km} - \sum_{i=1}^{i<n_{on}} P(k, i, n_{total}, m)$

この式をより計算しやすくする方法が正確にはわかりません。単純に実装された場合、実行時間は指数関数的になりますが、メモ化を介して線形時間を達成するのは簡単です。その場合、最も可能性の高いを見つけるだけです。私の本能によれば、単一のピークが存在するため、非常に迅速に検出できる可能性がありますが、単純にで最も可能性の高いmを見つけることができます。 $m$ $O(n^2)$

— dan_waterworth
ソース

あなたの式は

（定数因子を無視）。この最大値を分析的に計算できます。2番目の項の最初の因子を展開し、定数因子を削除してすべてを削除すると、式は非常に簡単になります。

(\binom{n_{t o t a l}}{n_{o n}}) n_{o n}^{k m} - (\binom{n_{t o t a l}}{n_{o n} - 1}) (n_{o n} - 1)^{k m}

${n_{total} \choose n_{on}}n_{on}^{km}- {n_{total} \choose n_{on}-1}(n_{on}-1)^{km}$ n choose k

— ジュール

@Jules、素晴らしい、私はそのようなことが起こると確信していましたが、それを理解する時間がありませんでした。

— dan_waterworth

また、次のように直接その式に到達することができる：

。次に、プラグイン

P (n_{o n} = x) = P (n_{o n} \leq x) - P (n_{o n} < x) = P (n_{o n} \leq x) - P (n_{o n} \leq x - 1)

$P(n_{on} = x) = P(n_{on} \leq x) - P(n_{on} < x) = P(n_{on} \leq x) - P(n_{on} \leq x-1)$

用の

。

(\binom{n_{t o t a l}}{x}) (x / n_{t o t a l})^{k m}

${n_{total} \choose x} (x/n_{total})^{km}$

P (n_{o n} \leq x)

$P(n_{on} \leq x)$

— ジュール

2

ハッシュが均一に分散されていると仮定します。

ましょう挿入ハッシュの数です。我々が持っているので、にハッシュ私たちが持っている場合は、ビンにハッシュをビンと次のハッシュは、それらの一つに入るのうちのビンか、我々は持っている場合はにハッシュビンを、次のハッシュを行きます他のビンのつに入れると、次のようになります。 $i$ $i$ $m$ $i-1$ $m$ $m$ $n$ $i-1$ $m-1$ $n-(m-1)$

$P(m,i) = P(m,i-1)(m/n) + P(m-1,i-1)(n-(m-1))/n$

書き換え：

$P(m,i) = \frac{1}{n}(mP(m,i-1) + (n-m+1)P(m-1,i-1))$

我々はまた、持っていると場合と場合。これにより、Pを計算するための動的プログラミングアルゴリズムが得られますを最大化する計算 $P(0,0) = 1$ $P(m,0) = 0$ $m \neq 0$ $P(0,i) = 0$ $i \neq 0$ $O(mi)$ $i$ $P(m,i)$ 最尤推定値を提供します。

このブルームフィルターに回ハッシュし、アイテムごとにハッシュがあることがわかっている場合、アイテムの数はです。 $i$ $k$ $i/k$

スピードアップするために、いくつかのことができます。の係数は最大位置を変更しないため、できます。動的プログラミングテーブルを複数の呼び出しと共有して、（漸近的な）実行時間をに短縮できます。単一の最大値があると考えている場合は、の反復を早期に停止し、実行時間を取得できます。ここで、はが最大値をとるポイントです。 $\frac{1}{n}$ $P(m,i)$ $O(nm)$ $i$ $O(jm)$ $j$ $P$ $O(m \log n)$

— ジュール
ソース

2

重要な考え方は、ゼロビットの数の期待値を概算することです。

各ビットについて、K個のハッシュ関数を使用したt挿入後にゼロになる可能性は次のとおりです：。 $(1-\frac{1}{N})^{Kt} \approx e^{-\frac{Kt}{N}}$

次に、ゼロのビット数の期待値は次のとおりです。

は観測値近似 $N e^{-\frac{Kt}{N}}$ $N - M$

最後に、を得ました $t = - \frac{N}{K} ln(1-\frac{M}{N})$

— ヤンホン・チョン
ソース

1

n回の挿入後、特定のビットが1になる確率は、P = 1-（1-1 / m）^（kn）です。

X_iを離散ランダム変数とし、i番目の位置のビットが1の場合は1、それ以外の場合は0とします。X = X_1 + X_2 + .... + X_mとします。次に、E [X] = m *P。

セットされたビットの総数がSの場合、E [X] = Sはm * P = Sを意味します。これはnで解決できます。

— ニヒル
ソース