最も効率的なJavaコレクションライブラリは何ですか？[閉まっている]

最も効率的なJavaコレクションライブラリは何ですか？

数年前、私は多くのJavaを実行し、当時、その群れが最高の（最も効率的な）Javaコレクション実装であるという印象を持っていました。しかし、「最も有用な無料のJavaライブラリー」という質問に対する回答を読んだとき、私はtroveについてほとんど言及されていないことに気づきました。それでは、どのJavaコレクションライブラリが今最高ですか？

更新：明確にするために、何百万ものエントリをハッシュテーブルなどに格納する必要があるときに使用するライブラリを知りたいと思っています（小さなランタイムとメモリフットプリントが必要です）。

調べてみると、Troveはプリミティブ型のコレクションのライブラリにすぎないようです。JDKの通常のコレクションに多くの機能を追加するためのものではありません。

個人的に（そして私は偏見があります）私はGuavaが大好きです（以前のGoogle Java Collectionsプロジェクトを含む）。これにより、さまざまなタスク（コレクションを含む）が非常に簡単になり、少なくともかなり効率的になります。コレクション操作が私のコードでボトルネックになることはめったにない（私の経験上）ことを考えると、これはコレクションAPIよりも「効率的」ですが、コードを読みやすくすることはできません。

TroveとGuavaのオーバーラップはほとんどないので、コレクションライブラリから実際に探しているものを明確にすることができます。

問題は、（今のところ）intMapにのようなプリミティブ型を使用して表現できる大量のデータを格納することです。ここでの回答のいくつかは、私の意見では非常に誤解を招くものです。その理由を見てみましょう。

ベンチマークをtroveから変更して、ランタイムとメモリ消費の両方を測定しました。また、このベンチマークにPCJを追加しました。これは、プリミティブ型の別のコレクションライブラリです（これを広範囲に使用しています）。「公式」のtroveベンチマークはIntIntMapsをJava Collectionと比較していませんMap<Integer, Integer>。おそらく、格納Integersと格納intsは技術的な観点から同じではありません。しかし、ユーザーはこの技術的な詳細を気にしないかもしれません。彼はints効率的に表現できるデータを保存したいと考えています。

まず、コードの関連部分：

new Operation() {

     private long usedMem() {
        System.gc();
        return Runtime.getRuntime().totalMemory() - Runtime.getRuntime().freeMemory();
     }

     // trove
     public void ours() {
        long mem = usedMem();
        TIntIntHashMap ours = new TIntIntHashMap(SET_SIZE);
        for ( int i = dataset.size(); i-- > 0; ) {
           ours.put(i, i);
        }
        mem = usedMem() - mem;
        System.err.println("trove " + mem + " bytes");
        ours.clear();
     }

     public void pcj() {
        long mem = usedMem();
        IntKeyIntMap map = new IntKeyIntOpenHashMap(SET_SIZE);
        for ( int i = dataset.size(); i-- > 0; ) {
           map.put(i, i);
        }
        mem = usedMem() - mem;
        System.err.println("pcj " + mem + " bytes");
        map.clear();
     }

     // java collections
     public void theirs() {
        long mem = usedMem();
        Map<Integer, Integer> map = new HashMap<Integer, Integer>(SET_SIZE);
        for ( int i = dataset.size(); i-- > 0; ) {
           map.put(i, i);
        }
        mem = usedMem() - mem;
        System.err.println("java " + mem + " bytes");
        map.clear();
     }

私はデータがプリミティブとして来ると思いますints、それは正気のようです。ただし、プリミティブコレクションフレームワークでは不要なオートボクシングのため、これはjava utilの実行時のペナルティを意味します。

gc()WinXP、jdk1.6.0_10でのランタイム結果（もちろん呼び出しなし）：

                      100000のputオペレーション100000にはオペレーションが含まれます 
Javaコレクション1938 ms 203 ms
トローブ234ミリ秒125ミリ秒
pcj 516 ms 94 ms

これはすでに抜本的に思えるかもしれませんが、これがそのようなフレームワークを使用する理由ではありません。

理由はメモリのパフォーマンスです。100000 intエントリを含むマップの結果：

Javaコレクションが6644536から7168840バイトの間で変動する
trove 1853296バイト
pcj 1866112バイト

Javaコレクションは、プリミティブコレクションフレームワークに比べて3倍以上のメモリを必要とします。つまり、実行時のパフォーマンスを大幅に低下させるディスクIOに頼ることなく、3倍のデータをメモリに保持できます。そして、これは重要です。理由については、スケーラビリティをご覧ください。

私の経験では、高いメモリ消費がJavaの最大のパフォーマンス問題であり、当然、ランタイムパフォーマンスも低下します。プリミティブコレクションフレームワークは、ここで本当に役立ちます。

だから：いいえ、java.utilは答えではありません。また、Javaコレクションに「機能を追加する」ことは、効率性について尋ねるときのポイントではありません。また、最新のJDKコレクションは、「特殊化されたTroveコレクションでもパフォーマンスを向上させる」ことができません。

免責事項：ここでのベンチマークは完全とはほど遠いし、完璧でもありません。これは、私が多くのプロジェクトで経験した要点を理解するためのものです。プリミティブコレクションは、大量のデータを扱う場合に、魚のようなAPIを許容するのに十分役立ちます。

私はこれが古い投稿であることを知っており、ここにはたくさんの答えがあります。しかし、上記の答えは表面的なものであり、ライブラリを提案するという点では非常に単純化されています。ここに提示されているさまざまなベンチマークでうまく機能するライブラリはありません。私が導き出した唯一の結論は、パフォーマンスとメモリに関心があり、特にプリミティブ型を扱う場合、jdk以外の選択肢を検討するだけの価値があるということです。

ここでは、ベンチマークのメカニズムと対象となるライブラリの観点から、より適切な分析を行います。 これは、mahout devリストのスレッドです。

対象となるライブラリは

• HPPC
• Trove
• FastUtil
• Mahout（コルト）
• Javaコレクション

2015年6月の更新：残念ながら、元のベンチマークはもう利用できず、少し古くなっています。 これは、他の誰かが行ったかなり最近（2015年1月）のベンチマークです。オリジナルのリンクほど包括的ではなく、インタラクティブな探索ツールもありません。

他のコメンテーターが気づいたように、「効​​率的」の定義は幅広いネットを投げかけます。ただし、Javolutionライブラリについてはまだ誰も触れていません。

ハイライトのいくつか：

• Javolutionクラスは高速で非常に高速です（たとえば、標準のStringBuffer / StringBuilderのO [n]ではなくO [Log（n）]でのテキストの挿入/削除）。
• すべてのJavolutionクラスはハードリアルタイムに準拠しており、非常に確定的な動作（マイクロ秒範囲）を持っています。さらに、（標準ライブラリとは異なり）JavolutionはRTSJセーフです（Java Real-Time拡張機能を使用した場合、メモリクラッシュやメモリリークはありません）。
• Javolutionのリアルタイムコレクションクラス（マップ、リスト、テーブル、セット）は、ほとんどの標準コレクションクラスの代わりに使用でき、追加機能を提供します。
• Javolutionコレクションは、並列アルゴリズムの実装を容易にする同時実行性を保証します。

Javolutionディストリビューションにはベンチマークスイートが含まれているため、他のライブラリや組み込みのコレクションとどのように比較されるかを確認できます。

考慮すべきいくつかのコレクションライブラリ：

• java.utilのJavaコレクション
• Trove
• Googleコレクションライブラリ
• Apache Commonsコレクション
• Cliff Clickの高スケールlib
• Doug Leaのコレクションライブラリ-サポートされなくなり、ほとんどがJDKで再構築されました

私は何よりもまずJDKコレクションライブラリに到達します。それはあなたがする必要がある最も一般的なことをカバーし、明らかにあなたにすでに利用可能です。

Googleコレクションは、おそらくJDKの外では最高の高品質ライブラリです。頻繁に使用され、十分にサポートされています。

Apache Commons Collectionは古く、「料理人が多すぎる」問題に少し悩まされていますが、便利な機能もたくさんあります。

Troveには、プリミティブキー/値などのケースに特化したコレクションがあります。最近では、最新のJDK、およびJava 5+コレクションと同時使用の場合、JDKコレクションは特殊なTroveコレクションよりも優れていることがわかりました。

非常に高い同時実行のユースケースがある場合は、ロックのない実装であり、適切なユースケースがある場合はConcurrentHashMapに踏み込むことができる、大規模なlibのNonBlockingHashMapなどを確実にチェックする必要があります。

java.util

明白な答えで申し訳ありませんが、ほとんどの用途では、デフォルトのJavaコレクションで十分です。

何百万ものStringマップに保存するには、http：//code.google.com/p/flatmapをご覧ください。

私はソースフォージのハッピーコレクションからハッピーコレクションの開発者です

1. イベントベースのコレクション
2. 変更不可
3. SortedList
4. キャッシュ

java.util.concurrent複数のスレッドでHashMapを使用する場合は 、ConcurrentHashMapとパッケージについて言及する必要があります。これは標準のJavaの一部であるため、小さなメモリフットプリントが保証されます。

「効率的」の定義方法によって異なります。

すべてのデータ構造には、読み取り、書き込み、反復、メモリフットプリントなどの独自のBig-Oh動作があります。1つのライブラリ内のリンクリストは、他のライブラリと同じである可能性があります。ハッシュマップは、リンクされたリストO（n）よりもO（1）を読み取る方が高速です。

しかし、「最も有用な無料のJavaライブラリー」という質問への回答を読んだとき。トローブはほとんど言及されていないことに気づきました。

これは「最も効率的」なようには聞こえません。「一番人気」のようです。

ほんの少しのフィードバック-私はそれについて聞いたことがなく、それを使用した人を知りません。JDK、Google、またはApache Commonsに組み込まれているコレクションは私にはよく知られています。

Troveにはいくつかの利点があります。

• メモリフットプリントが小さく、Map.Entryオブジェクトは使用されません
• マップのキーの代わりにハッシュ戦略を使用できます。これにより、メモリが節約され、オブジェクトを新しい属性セットにキャッシュするたびに新しいキーを定義する必要がなくなります
• プリミティブコレクションタイプがあります
• 何らかの形の内部反復子があると思う

そうは言っても、troveが作成されて以来、jdkコレクションを改善するために多くのことが行われてきました。

それは私にとって魅力的なハッシング戦略です...グーグルのためにそれらの概要を読んでください。

数百万のレコードをハッシュテーブルに格納する場合、メモリの問題が発生する可能性があります。これは、たとえば230万個のStringオブジェクトでマップを作成しようとしたときに起こりました。私は一緒に行ったのBerkeleyDB。これは非常に成熟していて、パフォーマンスが優れています。それらには、コレクションAPIをラップするJava APIがあるため、メモリフットプリントが非常に少ない任意の大きなマップを簡単に作成できます。ただし、アクセスは遅くなります（ディスクに格納されるため）。

フォローアップの質問：不変のコレクションのためのまともな（そして効率的な）、よく管理されたライブラリはありますか？Clojureはこれに優れたサポートを提供しており、Javaにも同様の機能があると便利です。