文字列内の複数の異なる部分文字列を一度に(または最も効率的な方法で)Javaで置き換える


97

最も効率的な方法で、文字列内のさまざまなサブ文字列を置き換える必要があります。string.replaceを使用して各フィールドを置き換える総当たり以外の方法はありますか?

回答:


102

操作している文字列が非常に長い場合、または多くの文字列を操作している場合は、java.util.regex.Matcherを使用することをお勧めします(これにはコンパイルに時間がかかるため、効率的ではありません入力が非常に小さい場合、または検索パターンが頻繁に変更される場合)。

以下は、マップから取得したトークンのリストに基づく完全な例です。(Apache Commons LangのStringUtilsを使用)。

Map<String,String> tokens = new HashMap<String,String>();
tokens.put("cat", "Garfield");
tokens.put("beverage", "coffee");

String template = "%cat% really needs some %beverage%.";

// Create pattern of the format "%(cat|beverage)%"
String patternString = "%(" + StringUtils.join(tokens.keySet(), "|") + ")%";
Pattern pattern = Pattern.compile(patternString);
Matcher matcher = pattern.matcher(template);

StringBuffer sb = new StringBuffer();
while(matcher.find()) {
    matcher.appendReplacement(sb, tokens.get(matcher.group(1)));
}
matcher.appendTail(sb);

System.out.println(sb.toString());

正規表現がコンパイルされると、入力文字列のスキャンは一般に非常に高速になります(ただし、正規表現が複雑であるか、バックトラックを伴う場合でも、これを確認するためにベンチマークを行う必要があります!)


1
はい、ただし、反復回数のベンチマークを行う必要があります。
techzen 2009

5
実行する前に、各トークンの特殊文字をエスケープする必要があると思います"%(" + StringUtils.join(tokens.keySet(), "|") + ")%";
開発者MariusŽilėnas15年

StringBuilderをもう少し高速に使用できることに注意してください。StringBuilderは同期されていません。編集おっとはjavaの9ただしで動作します
Tinusテート・

3
今後の読者:正規表現の場合、「(」と「)」は検索するグループを囲みます。「%」は、テキストではリテラルとしてカウントされます。用語が「%」で始まらず終了する場合、それらは見つかりません。したがって、両方の部分のプレフィックスとサフィックスを調整します(テキスト+コード)。
linuxunil

66

アルゴリズム

(正規表現なしで)一致する文字列を置き換える最も効率的な方法の1つは、Aho-Corasickアルゴリズムを高性能のTrie(発音は「try」)、高速ハッシュアルゴリズム、および効率的なコレクションの実装とともに使用することです。

簡単なコード

簡単な解決策は、Apache StringUtils.replaceEachを次のように活用します。

  private String testStringUtils(
    final String text, final Map<String, String> definitions ) {
    final String[] keys = keys( definitions );
    final String[] values = values( definitions );

    return StringUtils.replaceEach( text, keys, values );
  }

これは大きなテキストでは遅くなります。

高速コード

Borによる Aho-Corasickアルゴリズムの実装では、同じメソッドシグネチャを持つファサードを使用することにより、実装の詳細になるもう少し複雑さが導入されています。

  private String testBorAhoCorasick(
    final String text, final Map<String, String> definitions ) {
    // Create a buffer sufficiently large that re-allocations are minimized.
    final StringBuilder sb = new StringBuilder( text.length() << 1 );

    final TrieBuilder builder = Trie.builder();
    builder.onlyWholeWords();
    builder.removeOverlaps();

    final String[] keys = keys( definitions );

    for( final String key : keys ) {
      builder.addKeyword( key );
    }

    final Trie trie = builder.build();
    final Collection<Emit> emits = trie.parseText( text );

    int prevIndex = 0;

    for( final Emit emit : emits ) {
      final int matchIndex = emit.getStart();

      sb.append( text.substring( prevIndex, matchIndex ) );
      sb.append( definitions.get( emit.getKeyword() ) );
      prevIndex = emit.getEnd() + 1;
    }

    // Add the remainder of the string (contains no more matches).
    sb.append( text.substring( prevIndex ) );

    return sb.toString();
  }

ベンチマーク

ベンチマークでは、次のようにrandomNumericを使用してバッファを作成しました

  private final static int TEXT_SIZE = 1000;
  private final static int MATCHES_DIVISOR = 10;

  private final static StringBuilder SOURCE
    = new StringBuilder( randomNumeric( TEXT_SIZE ) );

どこをMATCHES_DIVISOR注入する変数の数が決まります。

  private void injectVariables( final Map<String, String> definitions ) {
    for( int i = (SOURCE.length() / MATCHES_DIVISOR) + 1; i > 0; i-- ) {
      final int r = current().nextInt( 1, SOURCE.length() );
      SOURCE.insert( r, randomKey( definitions ) );
    }
  }

ベンチマークコード自体(JMHは過剰に見えた):

long duration = System.nanoTime();
final String result = testBorAhoCorasick( text, definitions );
duration = System.nanoTime() - duration;
System.out.println( elapsed( duration ) );

1,000,000:1,000

1,000,000文字とランダムに配置された1,000個の文字列を置き換える単純なマイクロベンチマーク。

  • testStringUtils: 25秒、25533ミリ秒
  • testBorAhoCorasick: 0秒、68ミリ秒

コンテストはありません。

10,000:1,000

10,000文字と1,000文字の一致する文字列を使用して置換する:

  • testStringUtils: 1秒、1402ミリ秒
  • testBorAhoCorasick: 0秒、37ミリ秒

除算が終了します。

1,000:10

1,000文字と10個の一致する文字列を使用して置換:

  • testStringUtils: 0秒、7ミリ秒
  • testBorAhoCorasick: 0秒、19ミリ秒

短い文字列の場合、Aho-Corasickの設定のオーバーヘッドにより、ブルートフォースのアプローチがに食いつきStringUtils.replaceEachます。

両方の実装の利点を最大限に引き出すために、テキストの長さに基づくハイブリッドアプローチが可能です。

実装

以下を含む、1 MBを超えるテキストの他の実装を比較することを検討してください。

論文

アルゴリズムに関する論文と情報:


5
この貴重な情報でこの質問を更新したことに対する称賛は、とても素晴らしいことです。JMHベンチマークは、少なくとも10,000:1,000や1,000:10(JITは魔法の最適化を実行できる場合があります)などの妥当な値に対しては、依然として適切であると思います。
Tunaki 2016年

builder.onlyWholeWords()を削除すると、文字列置換と同様に機能します。
Ondrej Sotolar

この素晴らしい答えをありがとうございました。これは間違いなくとても役に立ちます!2つのアプローチを比較し、より意味のある例を示すために、2番目のアプローチでTrieを1回だけ作成し、それを多くの異なる入力文字列に適用する必要があるとコメントしました。これがTrieとStringUtilsにアクセスすることの主な利点だと思います。構築は1回だけです。それでも、この回答をありがとうございました。2番目のアプローチを実装する方法論を非常によく共有しています
Vic Seedoubleyew

素晴らしい点、@ VicSeedoubleyew。答えを更新しますか?
Dave Jarvis

9

これは私のために働きました:

String result = input.replaceAll("string1|string2|string3","replacementString");

例:

String input = "applemangobananaarefruits";
String result = input.replaceAll("mango|are|ts","-");
System.out.println(result);

出力: apple-banana-frui-


正確に私が私の友人を必要としていたもの:)
GOXR3PLUS

7

Stringを何度も変更する場合は、通常、StringBuilderを使用する方が効率的です(ただし、パフォーマンスを測定して調べてください)

String str = "The rain in Spain falls mainly on the plain";
StringBuilder sb = new StringBuilder(str);
// do your replacing in sb - although you'll find this trickier than simply using String
String newStr = sb.toString();

文字列は不変であるため、文字列に対して置換を行うたびに、新しい文字列オブジェクトが作成されます。StringBuilderは変更可能です。つまり、必要に応じて変更できます。


申し訳ありませんが、役に立ちません。元の文字列と長さが異なる場合は、シフトを行う必要があります。これは、文字列を新しく作成するよりもコストがかかる可能性があります。それとも何か不足していますか?
maaartinus

4

StringBuilder文字配列バッファを必要な長さに指定できるため、置換がより効率的に行われます。StringBuilder追加以上のもののために設計されています!

もちろん、本当の問題は、これが最適化でありすぎるかどうかです。JVMは複数のオブジェクトの作成とその後のガベージコレクションの処理に非常に優れています。すべての最適化の質問と同様に、最初の質問は、これを測定して問題であると判断したかどうかです。


2

replaceAll()メソッドを使用するのはどうですか?


4
多くの異なる部分文字列を正規表現で処理できます(/substring1|substring2|.../)。それはすべて、OPが実行しようとしている置換の種類によって異なります。
Avi

4
OPはより効率的なものを求めていますstr.replaceAll(search1, replace1).replaceAll(search2, replace2).replaceAll(search3, replace3).replaceAll(search4, replace4)
Kip

2

RythmのJavaテンプレートエンジンがリリースされ、文字列補間モードと呼ばれる新機能が追加されました。

String result = Rythm.render("@name is inviting you", "Diana");

上記の例は、位置によってテンプレートに引数を渡すことができることを示しています。リズムでは、名前で引数を渡すこともできます。

Map<String, Object> args = new HashMap<String, Object>();
args.put("title", "Mr.");
args.put("name", "John");
String result = Rythm.render("Hello @title @name", args);

注リズムは非常に高速で、String.formatや速度よりも約2〜3倍高速です。これは、テンプレートをJavaバイトコードにコンパイルするため、ランタイムパフォーマンスはStringBuilderとの連結に非常に近いものです。

リンク:


これは非常に古い機能であり、velocity、JSPなどの多数のテンプレート言語で使用できます。また、検索文字列を事前に定義された形式にする必要がない質問にも回答しません。
Angsuman Chakraborty

興味深いことに、受け入れられた回答は例を提供します:"%cat% really needs some %beverage%."; 、その%分離されたトークンは事前定義された形式ではありませんか?あなたの最初のポイントはさらにおかしいです、JDKは多くの「古い機能」を提供します、それらのいくつかは90年代から始まります、なぜ人々はそれらを使うのを煩わせるのですか?あなたのコメントと
反対投票は

既存のテンプレートエンジンがすでに多く、VelocityやFreemarkerなどのブートに広く使用されている場合に、Rythmテンプレートエンジンを導入するポイントは何ですか?また、コアJava機能が十分である場合に、なぜ別の製品を導入するのか。Patternもコンパイルできるので、パフォーマンスについてのあなたの発言は本当に疑います。いくつかの実数を見たいです。
Angsuman Chakraborty

緑、あなたは要点を逃しています。質問者は任意の文字列を置き換えたいのに対して、ソリューションでは@が前に付いているような事前定義された形式の文字列のみを置き換えます。はい、例では%を使用していますが、制限要素としてではなく、例としてのみ使用しています。したがって、あなたが答えると、質問には答えないので、否定的な点になります。
Angsuman Chakraborty

2

以下は、Todd Owenの回答に基づいています。このソリューションには、正規表現で特別な意味を持つ文字が置換に含まれている場合、予期しない結果が生じる可能性があるという問題があります。また、オプションで大文字と小文字を区別しない検索を実行できるようにしたいと考えていました。これが私が思いついたものです:

/**
 * Performs simultaneous search/replace of multiple strings. Case Sensitive!
 */
public String replaceMultiple(String target, Map<String, String> replacements) {
  return replaceMultiple(target, replacements, true);
}

/**
 * Performs simultaneous search/replace of multiple strings.
 * 
 * @param target        string to perform replacements on.
 * @param replacements  map where key represents value to search for, and value represents replacem
 * @param caseSensitive whether or not the search is case-sensitive.
 * @return replaced string
 */
public String replaceMultiple(String target, Map<String, String> replacements, boolean caseSensitive) {
  if(target == null || "".equals(target) || replacements == null || replacements.size() == 0)
    return target;

  //if we are doing case-insensitive replacements, we need to make the map case-insensitive--make a new map with all-lower-case keys
  if(!caseSensitive) {
    Map<String, String> altReplacements = new HashMap<String, String>(replacements.size());
    for(String key : replacements.keySet())
      altReplacements.put(key.toLowerCase(), replacements.get(key));

    replacements = altReplacements;
  }

  StringBuilder patternString = new StringBuilder();
  if(!caseSensitive)
    patternString.append("(?i)");

  patternString.append('(');
  boolean first = true;
  for(String key : replacements.keySet()) {
    if(first)
      first = false;
    else
      patternString.append('|');

    patternString.append(Pattern.quote(key));
  }
  patternString.append(')');

  Pattern pattern = Pattern.compile(patternString.toString());
  Matcher matcher = pattern.matcher(target);

  StringBuffer res = new StringBuffer();
  while(matcher.find()) {
    String match = matcher.group(1);
    if(!caseSensitive)
      match = match.toLowerCase();
    matcher.appendReplacement(res, replacements.get(match));
  }
  matcher.appendTail(res);

  return res.toString();
}

これが私のユニットテストケースです:

@Test
public void replaceMultipleTest() {
  assertNull(ExtStringUtils.replaceMultiple(null, null));
  assertNull(ExtStringUtils.replaceMultiple(null, Collections.<String, String>emptyMap()));
  assertEquals("", ExtStringUtils.replaceMultiple("", null));
  assertEquals("", ExtStringUtils.replaceMultiple("", Collections.<String, String>emptyMap()));

  assertEquals("folks, we are not sane anymore. with me, i promise you, we will burn in flames", ExtStringUtils.replaceMultiple("folks, we are not winning anymore. with me, i promise you, we will win big league", makeMap("win big league", "burn in flames", "winning", "sane")));

  assertEquals("bcaacbbcaacb", ExtStringUtils.replaceMultiple("abccbaabccba", makeMap("a", "b", "b", "c", "c", "a")));
  assertEquals("bcaCBAbcCCBb", ExtStringUtils.replaceMultiple("abcCBAabCCBa", makeMap("a", "b", "b", "c", "c", "a")));
  assertEquals("bcaacbbcaacb", ExtStringUtils.replaceMultiple("abcCBAabCCBa", makeMap("a", "b", "b", "c", "c", "a"), false));

  assertEquals("c colon  backslash temp backslash  star  dot  star ", ExtStringUtils.replaceMultiple("c:\\temp\\*.*", makeMap(".", " dot ", ":", " colon ", "\\", " backslash ", "*", " star "), false));
}

private Map<String, String> makeMap(String ... vals) {
  Map<String, String> map = new HashMap<String, String>(vals.length / 2);
  for(int i = 1; i < vals.length; i+= 2)
    map.put(vals[i-1], vals[i]);
  return map;
}

1
public String replace(String input, Map<String, String> pairs) {
  // Reverse lexic-order of keys is good enough for most cases,
  // as it puts longer words before their prefixes ("tool" before "too").
  // However, there are corner cases, which this algorithm doesn't handle
  // no matter what order of keys you choose, eg. it fails to match "edit"
  // before "bed" in "..bedit.." because "bed" appears first in the input,
  // but "edit" may be the desired longer match. Depends which you prefer.
  final Map<String, String> sorted = 
      new TreeMap<String, String>(Collections.reverseOrder());
  sorted.putAll(pairs);
  final String[] keys = sorted.keySet().toArray(new String[sorted.size()]);
  final String[] vals = sorted.values().toArray(new String[sorted.size()]);
  final int lo = 0, hi = input.length();
  final StringBuilder result = new StringBuilder();
  int s = lo;
  for (int i = s; i < hi; i++) {
    for (int p = 0; p < keys.length; p++) {
      if (input.regionMatches(i, keys[p], 0, keys[p].length())) {
        /* TODO: check for "edit", if this is "bed" in "..bedit.." case,
         * i.e. look ahead for all prioritized/longer keys starting within
         * the current match region; iff found, then ignore match ("bed")
         * and continue search (find "edit" later), else handle match. */
        // if (better-match-overlaps-right-ahead)
        //   continue;
        result.append(input, s, i).append(vals[p]);
        i += keys[p].length();
        s = i--;
      }
    }
  }
  if (s == lo) // no matches? no changes!
    return input;
  return result.append(input, s, hi).toString();
}

1

これをチェックして:

String.format(str,STR[])

例えば:

String.format( "Put your %s where your %s is", "money", "mouth" );

0

概要:2つのアルゴリズムのうち最も効率的なアルゴリズムを自動的に選択するための、Daveの回答の単一クラス実装。

これは、Dave Jarvisからの上記の優れた回答に基づく完全な単一クラスの実装です。クラスは、効率を最大にするために、提供された2つの異なるアルゴリズムから自動的に選択します。(この回答は、すばやくコピーして貼り付けたいだけのユーザー向けです。)

ReplaceStringsクラス:

package somepackage

import java.util.ArrayList;
import java.util.Collection;
import java.util.HashMap;
import java.util.Map;
import java.util.Set;
import org.ahocorasick.trie.Emit;
import org.ahocorasick.trie.Trie;
import org.ahocorasick.trie.Trie.TrieBuilder;
import org.apache.commons.lang3.StringUtils;

/**
 * ReplaceStrings, This class is used to replace multiple strings in a section of text, with high
 * time efficiency. The chosen algorithms were adapted from: https://stackoverflow.com/a/40836618
 */
public final class ReplaceStrings {

    /**
     * replace, This replaces multiple strings in a section of text, according to the supplied
     * search and replace definitions. For maximum efficiency, this will automatically choose
     * between two possible replacement algorithms.
     *
     * Performance note: If it is known in advance that the source text is long, then this method
     * signature has a very small additional performance advantage over the other method signature.
     * (Although either method signature will still choose the best algorithm.)
     */
    public static String replace(
        final String sourceText, final Map<String, String> searchReplaceDefinitions) {
        final boolean useLongAlgorithm
            = (sourceText.length() > 1000 || searchReplaceDefinitions.size() > 25);
        if (useLongAlgorithm) {
            // No parameter adaptations are needed for the long algorithm.
            return replaceUsing_AhoCorasickAlgorithm(sourceText, searchReplaceDefinitions);
        } else {
            // Create search and replace arrays, which are needed by the short algorithm.
            final ArrayList<String> searchList = new ArrayList<>();
            final ArrayList<String> replaceList = new ArrayList<>();
            final Set<Map.Entry<String, String>> allEntries = searchReplaceDefinitions.entrySet();
            for (Map.Entry<String, String> entry : allEntries) {
                searchList.add(entry.getKey());
                replaceList.add(entry.getValue());
            }
            return replaceUsing_StringUtilsAlgorithm(sourceText, searchList, replaceList);
        }
    }

    /**
     * replace, This replaces multiple strings in a section of text, according to the supplied
     * search strings and replacement strings. For maximum efficiency, this will automatically
     * choose between two possible replacement algorithms.
     *
     * Performance note: If it is known in advance that the source text is short, then this method
     * signature has a very small additional performance advantage over the other method signature.
     * (Although either method signature will still choose the best algorithm.)
     */
    public static String replace(final String sourceText,
        final ArrayList<String> searchList, final ArrayList<String> replacementList) {
        if (searchList.size() != replacementList.size()) {
            throw new RuntimeException("ReplaceStrings.replace(), "
                + "The search list and the replacement list must be the same size.");
        }
        final boolean useLongAlgorithm = (sourceText.length() > 1000 || searchList.size() > 25);
        if (useLongAlgorithm) {
            // Create a definitions map, which is needed by the long algorithm.
            HashMap<String, String> definitions = new HashMap<>();
            final int searchListLength = searchList.size();
            for (int index = 0; index < searchListLength; ++index) {
                definitions.put(searchList.get(index), replacementList.get(index));
            }
            return replaceUsing_AhoCorasickAlgorithm(sourceText, definitions);
        } else {
            // No parameter adaptations are needed for the short algorithm.
            return replaceUsing_StringUtilsAlgorithm(sourceText, searchList, replacementList);
        }
    }

    /**
     * replaceUsing_StringUtilsAlgorithm, This is a string replacement algorithm that is most
     * efficient for sourceText under 1000 characters, and less than 25 search strings.
     */
    private static String replaceUsing_StringUtilsAlgorithm(final String sourceText,
        final ArrayList<String> searchList, final ArrayList<String> replacementList) {
        final String[] searchArray = searchList.toArray(new String[]{});
        final String[] replacementArray = replacementList.toArray(new String[]{});
        return StringUtils.replaceEach(sourceText, searchArray, replacementArray);
    }

    /**
     * replaceUsing_AhoCorasickAlgorithm, This is a string replacement algorithm that is most
     * efficient for sourceText over 1000 characters, or large lists of search strings.
     */
    private static String replaceUsing_AhoCorasickAlgorithm(final String sourceText,
        final Map<String, String> searchReplaceDefinitions) {
        // Create a buffer sufficiently large that re-allocations are minimized.
        final StringBuilder sb = new StringBuilder(sourceText.length() << 1);
        final TrieBuilder builder = Trie.builder();
        builder.onlyWholeWords();
        builder.ignoreOverlaps();
        for (final String key : searchReplaceDefinitions.keySet()) {
            builder.addKeyword(key);
        }
        final Trie trie = builder.build();
        final Collection<Emit> emits = trie.parseText(sourceText);
        int prevIndex = 0;
        for (final Emit emit : emits) {
            final int matchIndex = emit.getStart();

            sb.append(sourceText.substring(prevIndex, matchIndex));
            sb.append(searchReplaceDefinitions.get(emit.getKeyword()));
            prevIndex = emit.getEnd() + 1;
        }
        // Add the remainder of the string (contains no more matches).
        sb.append(sourceText.substring(prevIndex));
        return sb.toString();
    }

    /**
     * main, This contains some test and example code.
     */
    public static void main(String[] args) {
        String shortSource = "The quick brown fox jumped over something. ";
        StringBuilder longSourceBuilder = new StringBuilder();
        for (int i = 0; i < 50; ++i) {
            longSourceBuilder.append(shortSource);
        }
        String longSource = longSourceBuilder.toString();
        HashMap<String, String> searchReplaceMap = new HashMap<>();
        ArrayList<String> searchList = new ArrayList<>();
        ArrayList<String> replaceList = new ArrayList<>();
        searchReplaceMap.put("fox", "grasshopper");
        searchReplaceMap.put("something", "the mountain");
        searchList.add("fox");
        replaceList.add("grasshopper");
        searchList.add("something");
        replaceList.add("the mountain");
        String shortResultUsingArrays = replace(shortSource, searchList, replaceList);
        String shortResultUsingMap = replace(shortSource, searchReplaceMap);
        String longResultUsingArrays = replace(longSource, searchList, replaceList);
        String longResultUsingMap = replace(longSource, searchReplaceMap);
        System.out.println(shortResultUsingArrays);
        System.out.println("----------------------------------------------");
        System.out.println(shortResultUsingMap);
        System.out.println("----------------------------------------------");
        System.out.println(longResultUsingArrays);
        System.out.println("----------------------------------------------");
        System.out.println(longResultUsingMap);
        System.out.println("----------------------------------------------");
    }
}

必要なMaven依存関係:

(必要に応じて、これらをpomファイルに追加してください。)

    <!-- Apache Commons utilities. Super commonly used utilities.
    https://mvnrepository.com/artifact/org.apache.commons/commons-lang3 -->
    <dependency>
        <groupId>org.apache.commons</groupId>
        <artifactId>commons-lang3</artifactId>
        <version>3.10</version>
    </dependency>

    <!-- ahocorasick, An algorithm used for efficient searching and 
    replacing of multiple strings.
    https://mvnrepository.com/artifact/org.ahocorasick/ahocorasick -->
    <dependency>
        <groupId>org.ahocorasick</groupId>
        <artifactId>ahocorasick</artifactId>
        <version>0.4.0</version>
    </dependency>
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.