最速の検索を提供する.NETコレクション

20,000のルックアップリストに対してチェックする必要がある60kのアイテムがあります。（のようなコレクションオブジェクトが存在しList、HashTableexceptionly速い提供）Contains()方法は？それとも自分で書く必要がありますか？つまり、デフォルトのContains()方法は、各項目をスキャンするだけですか、それともより優れた検索アルゴリズムを使用しますか。

foreach (Record item in LargeCollection)
{
    if (LookupCollection.Contains(item.Key))
    {
       // Do something
    }
}

注。ルックアップリストは既に並べ替えられています。

最も一般的なケースでは、System.Collections.Generic.HashSet評価に一定の時間がかかるため、デフォルトの「含む」の主要なデータ構造を検討してくださいContains。

「最速の検索可能なコレクションとは」に対する実際の答えは、特定のデータサイズ、順序付け、ハッシュのコスト、および検索頻度によって異なります。

注文する必要がない場合は、HashSet<Record>（。Net 3.5の新機能）を試してください。

その場合は、を使用してList<Record>を呼び出しますBinarySearch。

検討しましたList.BinarySearch(item)か？

大規模なコレクションは既に並べ替えられているので、これは絶好の機会のようですか？ハッシュは間違いなく最速ですが、これはそれ自体の問題を引き起こし、ストレージに多くのオーバーヘッドを必要とします。

シングルとマルチスレッドの両方の手法を使用して、いくつかの異なるタイプのコレクションとメソッドをスピードテストしたこのブログを読む必要があります。

結果によると、リストのBinarySearchとSortedListは、何かを「値」として検索するときに首を絞って実行しているトップパフォーマーでした。

「キー」を許可するコレクションを使用すると、Dictionary、ConcurrentDictionary、Hashset、およびHashTablesが全体的に最高のパフォーマンスを発揮しました。

xとyの両方のリストをソートされた順序で保持します。

x = yの場合はアクションを実行し、x <yの場合はxを進め、y <xの場合はいずれかのリストが空になるまでyを進めます。

この交差の実行時間は、最小値（サイズ（x）、​​サイズ（y））に比例します。

.Contains（）ループを実行しないでください。これはx * yに比例しますが、はるかに悪いです。

アイテムを並べ替えることができる場合は、これを行うより高速な方法があり、ハッシュテーブルまたはBツリーへのキールックアップを実行します。アイテムが並べ替えできない場合は、とにかく実際にそれらをBツリーに入れることはできません。

とにかく、両方のリストをソート可能な場合は、ルックアップリストを順番に歩くだけです。

Walk lookup list
   While items in check list <= lookup list item
     if check list item = lookup list item do something
   Move to next lookup list item

.Net 3.5を使用している場合は、次を使用してよりクリーンなコードを作成できます。

foreach (Record item in LookupCollection.Intersect(LargeCollection))
{
  //dostuff
}

ここには.Net 3.5がないので、これはテストされていません。それは拡張メソッドに依存しています。それLookupCollection.Intersect(LargeCollection)はおそらく同じではありませんLargeCollection.Intersect(LookupCollection)...後者はおそらくはるかに遅いです。

これは、LookupCollectionが HashSet

パフォーマンスの最後のすべてのビットをきしむことについて心配していなければ、HashSetまたはバイナリ検索を使用するという提案は確実です。データセットが十分に大きくないため、99％の確率でこれが問題になります。

しかし、これが数千回の1回だけであり、パフォーマンスが重要である場合（そしてHashSet /バイナリ検索を使用して受け入れられないことが判明している場合）、比較しながらソートリストをウォークする独自のアルゴリズムを書くことができます。各リストは最大で1回だけ実行され、病理学的なケースでは悪くはありません（このルートをたどると、文字列または他の非整数値であると仮定して、比較が実際の費用となり、それを最適化することが次のステップです。