Javaで区切られた文字列を分割する最も簡単な方法

区切られた文字列で複数列のソート機能を提供するコンパレータを構築しています。私は現在、生の文字列をトークンに分割するための好ましい選択肢として、Stringクラスのsplitメソッドを使用しています。

これは、生の文字列を文字列配列に変換するのに最適な方法ですか？何百万もの行を並べ替えるので、アプローチが重要だと思います。

それはうまく動作するようで非常に簡単ですが、Javaでより高速な方法があるかどうかは不明です。

これが私のコンパレータでのソートの仕組みです：

public int compare(String a, String b) {

    String[] aValues = a.split(_delimiter, _columnComparators.length);
    String[] bValues = b.split(_delimiter, _columnComparators.length);
    int result = 0;

    for( int index : _sortColumnIndices ) {
        result = _columnComparators[index].compare(aValues[index], bValues[index]);
        if(result != 0){
            break;
        }
    }
    return result;
}

さまざまなアプローチのベンチマークを行った後、信じられないかもしれませんが、splitメソッドは最新バージョンのJavaを使用するのが最も速かったです。ここに私の完成したコンパレータをダウンロードできます：https : //sourceforge.net/projects/multicolumnrowcomparator/

私はこのための迅速で汚れたベンチマークテストを作成しました。7つの異なる方法を比較します。そのうちのいくつかは、分割されるデータの特定の知識を必要とします。

基本的な汎用分割では、Guava SplitterはString＃split（）より3.5倍高速であり、私はそれを使用することをお勧めします。Stringtokenizerはそれよりもわずかに高速で、indexOfを使用した自分自身の分割は、2倍高速です。

コードと詳細については、http：//demeranville.com/battle-of-the-tokenizers-delimited-text-parser-performance/を参照してください

@Tomが書いているように、String.split()後者は正規表現を扱い、余分なオーバーヘッドが多いため、indexOfタイプのアプローチはよりも高速です。

ただし、1つのアルゴリズムの変更により、速度が大幅に向上する場合があります。このコンパレータが〜100,000文字列のソートに使用されると想定している場合は、を記述しないでくださいComparator<String>。お使いの一種の過程で、同じ文字列の可能性が高いと比較になり、そのため、複数のあなたがそれに分割されますので、回複数回など、...

すべての文字列を一度 String [] sに分割し、String []でComparator<String[]>ソートします。その後、最後に、それらをすべて組み合わせることができます。

または、マップを使用してString-> String []をキャッシュすることも、その逆も可能です。例（sketchy）また、速度とメモリを交換していることに注意してください。lotsaRAMがあることを願っています

HashMap<String, String[]> cache = new HashMap();

int compare(String s1, String s2) {
   String[] cached1 = cache.get(s1);
   if (cached1  == null) {
      cached1 = mySuperSplitter(s1):
      cache.put(s1, cached1);
   }
   String[] cached2 = cache.get(s2);
   if (cached2  == null) {
      cached2 = mySuperSplitter(s2):
      cache.put(s2, cached2);
   }

   return compareAsArrays(cached1, cached2);  // real comparison done here
}

このベンチマークによると、StringTokenizerは文字列の分割には高速ですが、配列を返さないため、利便性が低くなります。

何百万もの行をソートする必要がある場合は、RDBMSを使用することをお勧めします。

これは、大きな（1GB +）タブ区切りファイルの解析に使用する方法です。はオーバーヘッドがはるかに少ないString.split()ですがchar、区切り文字として制限されます。誰かがより速い方法を持っているなら、私はそれを見たいです。これはCharSequenceおよびCharSequence.subSequenceでも実行できますが、実装が必要ですCharSequence.indexOf(char)（String.indexOf(char[] source, int sourceOffset, int sourceCount, char[] target, int targetOffset, int targetCount, int fromIndex)興味がある場合はパッケージメソッドを参照してください）。

public static String[] split(final String line, final char delimiter)
{
    CharSequence[] temp = new CharSequence[(line.length() / 2) + 1];
    int wordCount = 0;
    int i = 0;
    int j = line.indexOf(delimiter, 0); // first substring

    while (j >= 0)
    {
        temp[wordCount++] = line.substring(i, j);
        i = j + 1;
        j = line.indexOf(delimiter, i); // rest of substrings
    }

    temp[wordCount++] = line.substring(i); // last substring

    String[] result = new String[wordCount];
    System.arraycopy(temp, 0, result, 0, wordCount);

    return result;
}