重複を効率的に、少ないメモリオーバーヘッドで削除する

結果セットのみを格納する必要があるように、重複の整数のリストを効率的にフィルター処理したいと思います。

これを確認できる1つの方法：

整数の範囲、大きい（たとえば） $S = \{1, \dots{}, N\}$ $N$ $2^{40}$
関数があり、衝突が多いと思われます（画像はに均一に分布しています）。 $f : S \to S$ $S$
次に、を格納する必要があり。つまり、 $f[S]$ $\{f(x) | x \in S\}$

かなり正確な（確率的）推定値がありであるため、事前にデータ構造を割り当てることができます（）。 $|f[S]|$ $|f[S]| \approx 2^{30}$

私はいくつかのアイデアを持っていますが、何が最善のアプローチになるかわかりません：

入力セットがメモリに収まらないため、ビットセットは問題外です。
ハッシュテーブルですが、（1）メモリオーバーヘッドが必要です $|f[S]|$ （2）作成時にテーブルを調査する必要があり、メモリのオーバーヘッドのために追加の時間が必要です。
「オンザフライ」ソート、できれば複雑度（非比較ソート）。それに関して、バケットソートとフラッシュソートの主な違いは何なのかわかりません。 $O(N)$
二分探索木を持つ単純な配列ですが、これには時間必要です。 $O(N \log |f[S]|)$
ブルームフィルターまたは同様のデータ構造を使用すると、問題の緩和（誤検知を伴う）に役立つ可能性があります。

stackoverflowの上のいくつかの質問は、物事のこの種に取り組むように見える（/programming/12240997/sorting-array-in-on-run-time、/programming/3951547/java -array-finding-duplicates）、しかし私の要件に一致するものはないようです。

algorithms data-structures sorting

— 文書
ソース

f [S]（それが何であれ）を列挙する必要がありますか、それともxが含まれているかどうかをすばやく確認できるようにする必要がありますか？

— Gilles「SO-邪悪なことをやめ

@ギレス：f [S]には明らかな構造がないため、2つのソリューションは同等であると私は信じています。

— ドキュメント

あなたの数は足し合わない。サイズ

ドメインのランダム関数の予想されるイメージは、おおよそ

です。もう1つの問題は、

を通過するのに、スーパーコンピュータまたは大規模なクラスターを自由に使用できない場合、時間がかかりすぎることです。

N

$N$

(1 - 1 / e) N

$(1-1/e)N$

2^{56}

$2^{56}$

— Yuval Filmus

二分探索木の時間は

であり、実際には

に近い場合とそうでない場合があり

が、より正確です。

O (N \log | f [S] |)

$O(N \log |f[S]|)$

O (N \log N)

$O(N\log N)$

— jmad

、線形時間アルゴリズムは、あまりにも法外ではないでしょうか？（私の計算から、1ナノ秒で

1つの要素を考慮したとしても、2年はかかります！）

N \sim 2^{56}

$N \sim 2^{56}$

S

$S$

— Aryabhata 2012

なぜビンとチェーンではないのですか？

アイデアは、によって表現正の整数を格納することでアレイ内のビットの値の範囲を表すエントリ：エントリ、、範囲を表す。いずれかのための我々は書き込むことができ $n = k+m$ $A$ $2^k$ $A[y]$ $y \ge 0$ $[2^m y, 2^m(y+1)-1]$ $1 \le x \lt 2^n$ ここで、はビット、はビットです。場所（ではなく！）を保存してみます。 $x = 2^m y + z$ $y$ $k$ $z$ $m$ $z$ $x$ $y$

場合、何もしない：は重複です。 $A[y]=z$ $x$
場合初期化されていない、店舗で。 $A[y]$ $z$ $A[y]$
それ以外の場合は、リンクされたリスト内の（衝突した）をチェーンするために使用される個別の配列にインデックスを格納します。で始まるリストを直線的に検索する必要があり、検索の結果によっては、リストにが挿入される可能性があります。 $z$ $y$ $A[y]$ $z$

最後に、は、の初期化されたエントリをループすることで簡単に回復でき、2つのビット文字列を連結するだけで、位置見つかった各（直接またはそこで参照されるチェーン内で）元の再構成します値。 $f(S)$ $A$ $z$ $y$ $x = 2^m y + z$

分布が均一に近く、がを超えると、チェーニングがあまりなく（これは通常の方法で評価できます）、チェインは短くなる傾向があります。分布が不均一な場合でも、アルゴリズムは機能しますが、2次のタイミングに達する可能性があります。それが可能である場合は、チェーンよりも効率的なものを使用してください（そしてストレージに少しのオーバーヘッドを払ってください）。 $2^k$ $N$

必要なストレージが最大であるに対するビットとチェーンのビット（仮定）。これは、それぞれビットの値を格納するために必要なスペースです。均一性に自信がある場合は、チェーン用のストレージを十分に割り当てることができません。不均一性が発生する可能性がある場合は、を増やして、チェーンストレージを完全に推奨することができます。 $2^n$ $A$ $2^{2k}$ $m \le k$ $2^k$ $n$ $k$

このソリューションに関する別の考え方は、これが特に優れたハッシュ関数（最上位ビットを取る）を持つハッシュテーブルであり、そのため、最下位ビットのみを格納する必要があることです。テーブル。 $k$ $m=n-k$

チェーンのストレージをのストレージでオーバーレイする方法はいくつかありますが、それほどスペースを節約せず（がよりもはるかに小さいと想定、コードの開発が難しくなるため、それは煩わしいものではありません。デバッグし、維持します。 $A$ $m$ $k$

— Whuber
ソース

私は、最後から2番目の段落がここの中心的な段落であり、おそらく（アイデアとして）一番上にあるはずだと思います。「bin and chain」という用語はわかりません（ただし、投稿を読んだ後で意味がわかります）。このアイデアは、試行に拡張できます。

— ラファエル

したがって、これは分散が不十分な入力の

です。これがどのように効率的かわかりません。

Θ (n^{2})

$\Theta(n^2)$

— einpoklum 2018年

@einpoklumこの回答は、ソリューションが効率的である条件を明確に説明しています。

— whuber 2018