大量のデータで機能するソートアルゴリズム

大量のデータを処理できる、つまり、データセット全体を一度にメインメモリに保持できない場合でも動作できるソートアルゴリズムを探しています。

私が今まで見つけた唯一の候補はマージソートです。メインメモリにすべてのデータを一度に保持することなく、各マージでデータセットをスキャンするようにアルゴリズムを実装できます。私が念頭に置いているマージソートのバリエーションについては、この記事の「テープドライブで使用する」セクションで説明しています。

私はこれが良い解決策だと思います（複雑さO（nx log（n）））が、メインメモリに収まらない大きなデータセットで動作できる他の（おそらくより高速な）ソートアルゴリズムがあるかどうか知りたいです。

編集

回答に必要な詳細を次に示します。

• データは定期的に、たとえば月に1回ソートする必要があります。いくつかのレコードを挿入する必要はなく、データをインクリメンタルにソートする必要があります。
• 私のサンプルテキストファイルは約1 GBのUTF-8テキストですが、たとえば20 GBのファイルであっても、一般的な問題を解決したかったのです。
• データベースにはありません。また、他の制約のため、そうすることはできません。
• データは他の人によってテキストファイルとしてダンプされます。このテキストファイルを読み取るための独自のコードがあります。
• データの形式はテキストファイルです。改行文字はレコード区切り文字です。

私が考えていた改善の1つは、ファイルをメモリ内でソートできるほど小さいファイルに分割し、最後に上記のアルゴリズムを使用してこれらすべてのファイルをマージすることでした。

ソートと検索に関する標準的なリファレンスは、Knuth、Vol。３。そこから始めましょう。

この本はもともと、コンピューターが現在よりもはるかに小さくて遅くなったときに書き直されたもので、メモリ不足のソート手法が今日よりも重要になっています。

UNIX sortコマンドのような外部R-Wayマージは、適切な代替手段です。あなたの定式化から、それがあなたが「マージソート」で意図したアルゴリズムであるかどうかはわかりません。あなたがそれを知らないなら、見てください。

より詳細な説明がなければ、「マージソート」がおそらく最良の答えになりますが、要件に応じてよりスマートなものを実装できます。

たとえば、ファイルのメモリ内インデックスを作成してから、すべての値を一度にコピーし、さまざまなキー値の場所をキャッシュすることはできますか？1/2は一度にメモリに収まりますか、それとも1/1000000ですか？2番目の場合は、インデックスをメモリに収めることができない可能性があります。最初の場合は、両方の半分をより効率的に並べ替えて、最後の1つのステップでそれらをマージできます。

地獄、あなたはそれを指定しなかったので、あなたのデータはすべてデータベースにある可能性があります、もしそうなら、あなたはただインデックステーブルを作成し、それを呼び出すことができますこのような複雑な問題を解決するには、あなたの状況が重要です）。

あなたが一度だけそれをやりたいと非常に迅速なハックを探しているなら、それはあなたがUnixを実行している場合、外部マージソートが良いスタートになると思われます（明らかに組み込まれているので）

順序を維持する必要があり、常に単一のレコードを追加する場合は、挿入ソートが必要になります（ソートされたデータへの単一レコードの追加は常に挿入ソートです）。

データを「読み取る」コードを制御できますか？その場合、多くの形式のインデックス作成（ディスク上でデータを移動して並べ替えるのではなく）がLOTに役立ちます（実際には絶対的な要件になります）。

そう：

• インプレースまたは複数のファイル？
• 一度だけ、定期的に、または常にソートされたままにしますか？
• メモリよりどれだけ大きいか（データセット全体を取得するメモリロードの数）
• データベースにありますか？できますか？
• データを読み取るコードを制御しますか、それとも他の人がファイルを直接ダンプしますか？
• ファイル形式？（テキスト？固定レコード？）
• 私が尋ねなかった他の特別な状況はありますか？

スケーラブルなソリューションが本当に必要な場合は、map-reduceを使用した標準のソート実装であるTeraSortをご覧ください。StackOverflowの詳細。

バケットソートに興味があるかもしれません。ケースの平均パフォーマンスは線形時間です。

= O（n + d）n：要素の数、d =データに関する直感がある場合の最大数の長さ。「桁」の長さが最大数であることがわかっている場合。したがって、200万個の6桁の数字=> 0（n）がある場合は線形です。

外部マージソートアルゴリズム（データが連続している場合）、またはバケットのソートの実装としてカウントソートを使用したバケットソートを使用します（データが離散的で均一に分散している場合）。

おそらく、最適なアプローチは、増分が小さい場合に独自のインデックス/マッピングファイルを作成することです。

1. どういうわけか「データベース」を注文する
2. すべてのエントリに整数を割り当てます（1、2、3、4、...、n）（より良い：いくつかの疎インデックスを使用します）
3. 増分を追加するときは、左の数値がそれ以下で、右の数値がそれ以上であるギャップを見つけるだけです（バイナリ検索の一部の修正版では難しくないはずです）
4. 挿入しますが、ギャップは十分に大きいですが、そうでない場合は、単にインデックスを再作成します（再度ソートしないでください）:-)

ビッグキューとビッグアレイと呼ばれるいくつかの抽象的な構造を構築し、メモリが限られている単一のマシンでビッグデータのソートと検索タスクを簡素化しました。基本的に、使用されるアルゴリズムは、前述したものと似ています-外部マージソートです。

1台のマシンで9時間で128GBのデータ（各項目100バイト）をソートし、ソートされたデータをほとんど時間なしでバイナリ検索できます。

ここでは、オープンソースのビッグキューとビッグアレイ構造を使用してビッグデータを検索する方法についての投稿です。