アンチブルームフィルターはありますか？

A ブルームフィルタは、効率的にさまざまな値がすでに処理中に遭遇したかどうかを追跡することが可能となります。データアイテムが多数ある場合、ブルームフィルターを使用すると、ハッシュテーブルのメモリを大幅に節約できます。ハッシュテーブルと共有するブルームフィルターの主な機能は、アイテムが新しいものではない場合は常に「not new」と表示することですが、アイテムに「not new」のフラグが立てられる確率はゼロではありません「新しい場合でも。

逆の動作をする「アンチブルームフィルター」はありますか？

言い換えれば、アイテムが新しい場合は「新しい」と言う効率的なデータ構造がありますが、新しいものではないアイテムについては「新しい」と言うこともありますか？

以前に表示されたすべてのアイテムを（たとえば、並べ替えられたリンクリストに）保持することは最初の要件を満たしますが、大量のメモリを使用する場合があります。緩和された2番目の要件を考えると、それも不要であることを願っています。

より正式な治療、書き込み好む人のために$b(x) = 1$ブルームフィルタを考えれば$x$新しいもので、$b(x) = 0$それ以外の場合は、書き込み$n(x) = 1$ならば$x$本当に新しいとされ$n(x) = 0$それ以外の場合。

次に、$Pr[b(x) = 0 | n(x) = 0] = 1$ ; $Pr[b(x) = 0 | n(x) = 1] = \alpha$ ; $Pr[b(x) = 1 | n(x) = 0] = 0$; $Pr[b(x) = 1 | n(x) = 1] = 1 - \alpha$、いくつかのために$0 < \alpha < 1$。

私が求めています：機能実現、効率的なデータ構造が存在しない$b'$一部と$0 < \beta < 1$、そのようなこと$Pr[b'(x) = 0 | n(x) = 0] = \beta$ ; $Pr[b'(x) = 0 | n(x) = 1] = 0$ ; $Pr[b'(x) = 1 | n(x) = 0] = 1 - \beta$。$Pr[b'(x) = 1 | n(x) = 1] = 1$？

編集：https: //stackoverflow.com/questions/635728 および/cstheory/6596としてStackExchangeでこの質問が以前に尋ねられたようです。 「の値を逆にすることで、やることは簡単$b$です。「正しい」答えが何であるかは私にはまだ明らかではありません。何で明確なことは（イルマリKaronenによって提案された1など）は、むしろうまく機能し、ある種のLRUキャッシュ方式は、実装するのは容易なことである、と私のコードを実行するのに要する時間が50％減少しました。

Patrick87のハッシュアイデアに沿って、これは要件をほぼ満たす実用的な構成です。古い値と誤って新しい値を間違える可能性はゼロではありませんが、簡単に無視できるほど小さくすることができます。

パラメーターおよびkを選択します。実際の値は、たとえばn = 128およびk = 16です。LET Hは、安全で暗号ハッシュ関数（少なくとも）製造のn + kの出力のビット。$n$$k$$n = 128$$k = 16$$H$$n+k$

ましょのアレイである2つのk個のnビットのビット列。この配列は、合計n 2 kビットを使用して、フィルターの状態を格納します。（この配列がどのように初期化されるかは特に問題ではありません。ゼロまたはランダムビットで埋めることができます。）$a$$2^k$ $n$$n2^k$

• 新しい値をフィルターに追加するには、iを計算します$x$、ここで iは最初の kビットを示し、 jは H （x ）の次の nビットを示します。してみましょう私 = jで。$i \,\|\, j = H(x)$$i$$k$$j$$n$$H(x)$$a_{i} = j$

• 値がフィルターに追加されたかどうかをテストするには、i ′を計算します$x'$上記のように j ′ = H （x ′）で、 a i ′ = j ′かどうかを確認します。はいの場合、trueを返します。そうでない場合はfalseを返します。$i' \,\|\, j' = H(x')$$a_{i'} = j'$

クレーム1：偽陽性（=新しい値が誤って見られたと主張される）の確率は、です。これは、nを増やすことにより、ストレージスペースをわずかなコストで任意に小さくすることができます。特にためにN ≥ 128、この確率は、ハードウェアの故障に対する偽陽性の確率よりもはるかに小さく、実際には、であり、本質的に無視できる程度です。$1/2^{n+k}$$n$$n \ge 128$

特に、異なる値がチェックされ、フィルターに追加された後、少なくとも1つの誤検出が発生する確率は（N 2 - N ）/ 2 n + k + 1です。たとえば、n = 128およびk = 16の場合、50％の確率で誤検知を得るために必要な個別の値の数は約2 （n + k ）/ 2 = 2 72です。$N$$(N^2-N) / 2^{n+k+1}$$n=128$$k=16$$2^{(n+k)/2} = 2^{72}$

請求項2：偽陰性の確率（誤新規であると主張=以前に追加値）以下であるここで、Nはフィルターに追加された個別の値の数です（より具体的には、テストされている特定の値が最後にフィルターに追加された後に追加された個別の値の数）。$1-(1-2^{-k})^N \approx 1-\exp(-N/2^k) < N/2^k$$N$

追伸 「無視できるほど小さい」という観点から見ると、128ビット暗号化は一般的に、現在知られている技術では解読不可能と考えられています。このスキームから誤検知を取得することは、誰かが最初の試行で秘密の128ビット暗号化キーを正しく推測するのと同じ可能性があります。（n = 128およびk = 16の場合、実際にはそれよりも約65,000倍低い可能性があります。）$n+k=128$$n=128$$k=16$

しかし、それでもあなたが不合理に神経質になっている場合は、いつでも切り替えることができます。それはあなたのストレージ要件を倍増でしょうが、私は安全にあなたがその名前に気にしたい任意の合計を賭けることができます誰もがなり、これまでに偽陽性を見ていないのn = 256 -とにかく、ハッシュ関数が破られていないと仮定します。$n=256$$n=256$

いいえ、これらのプロパティを使用して効率的なデータ構造を作成することはできません。データ構造が本当に新しい場合に「新しい」ことを保証したい場合は（そうでない場合は決して「新しい」とは言いません）実際には新しいものであり、偽陰性は許可されていません。このようなデータ構造では、すべてのデータを保持して「新規ではない」応答を行う必要があります。正確な正当化については、cssoryのpents90の回答を参照してください。

対照的に、Bloomフィルターは、データ構造が新しくない場合、効率的な方法で「新しくない」と言う保証を取得できます。各アイテムは、非常に長いかもしれないが、とブルームフィルタのスケールの大きさ：特に、ブルームフィルタは、データの全てを格納するよりも効率的であることができる数の項目のではなく、それらの全長。問題のデータ構造は、データ項目の数ではなく、データの合計長に合わせてスケーリングする必要があります。

ハッシュテーブルだけはどうですか？新しいアイテムが表示されたら、ハッシュテーブルを確認します。アイテムのスポットが空の場合、「new」を返し、アイテムを追加します。そうでない場合は、アイテムのスポットがアイテムで占められているかどうかを確認します。その場合、「not new」を返します。スポットが他のアイテムで占有されている場合、「new」を返し、スポットを新しいアイテムで上書きします。

アイテムのハッシュを一度も見たことがなければ、間違いなく常に「New」を正しく取得します。同じアイテムを見たときにアイテムのハッシュだけを見た場合、間違いなく常に「Not New」を正しく取得します。正解が「Not New」のときに「New」を取得できるのは、アイテムAを見てからアイテムBを見て、アイテムAをもう一度見て、AとBの両方が同じものにハッシュする場合だけです 重要なのは、「Not New」が間違って取得されることはないということです。

アイテムのユニバースが有限である場合、はい：セット内ではなくセット外の要素を記録するブルームフィルターを使用します。（つまり、対象のセットの補数を表すブルームフィルターを使用します。）

これが役立つ場所は、限られた形式の削除を許可することです。2つのブルームフィルターを保持します。彼らは空から始めます。要素を挿入すると、ブルームフィルタAに挿入します。後で要素を削除する場合は、その要素をブルームフィルタBに挿入します。削除を取り消す方法はありません。ルックアップを行うには、まずブルームフィルターAでルックアップします。一致するものが見つからない場合、アイテムは挿入されませんでした（確率1）。一致するものが見つかった場合、要素は挿入されている（または挿入されていない）可能性があります。その場合、ブルームフィルターBでルックアップを行います。一致するものが見つからない場合、アイテムは削除されませんでした。ブルームフィルタBで一致するものが見つかった場合、そのアイテムはおそらく挿入されてから削除されました。

これは実際にはあなたの質問に答えませんが、この限られたケースでは、ブルームフィルターBはまさにあなたが探している「アンチブルームフィルター」動作を実行しています。

リアルブルームフィルターの研究者は、より効率的な削除の表現方法を使用しています。MikeMitzenmacherの出版物のページを参照してください。

$v_i$

例としてip-addressesがあり、これまでに見たことがないことが表示されるたびに知りたい場合があります。しかし、それはまだ有限セットですので、あなたはあなたが期待できるものを知っています。

実際の解決策は簡単です。

1. すべてのアイテムをカウントブルームフィルターに追加します。
2. $\ge1$
3. 実際の新しいアイテムを見た後、フィルターからそれを引きます。

そのため、実際には古いものの、新しいものとして認識される「誤検知」の値がある可能性があります。ただし、その値はすべてのスロットに残り、他の誰もそれを奪うことはできなかったため、新しい値に対して「新しくない」ことは決してありません。