「java.nio.charset.MalformedInputException：入力長= 1」を回避するためのオールインクルーシブの文字セット？

私はJavaでディレクトリのテキストベースのファイルを読み取る単純なワードカウントプログラムを作成しています。

ただし、エラーが発生し続けます。

java.nio.charset.MalformedInputException: Input length = 1

このコード行から：

BufferedReader reader = Files.newBufferedReader(file,Charset.forName("UTF-8"));

Charsetテキストファイルに一部の文字が含まれていないaを使用したため、おそらく他の言語の文字が含まれているので、おそらくこれがわかるでしょう。しかし、私はそれらのキャラクターを含めたいです。

私は後でJavaDocsでこれCharsetがオプションであり、ファイルのより効率的な読み取りにのみ使用されることを学びました。そのため、コードを次のように変更しました。

BufferedReader reader = Files.newBufferedReader(file);

しかし、一部のファイルは依然としてをスローしMalformedInputExceptionます。理由はわかりません。

Charsetさまざまな種類の文字を含むテキストファイルを読み取ることができる包括的なものがあるかどうか疑問に思っていましたか？

ありがとう。

おそらく、サポートされているエンコーディングのリストが必要です。ファイルごとに、エンコーディングを順番に試してください。UTF-8で始まる可能性があります。をキャッチするたびにMalformedInputException、次のエンコーディングを試してください。

Files.newBufferedReaderからBufferedReaderを作成する

Files.newBufferedReader(Paths.get("a.txt"), StandardCharsets.UTF_8);

アプリケーションを実行すると、次の例外がスローされる場合があります。

java.nio.charset.MalformedInputException: Input length = 1

だが

new BufferedReader(new InputStreamReader(new FileInputStream("a.txt"),"utf-8"));

うまくいきます。

異なる点は、前者はCharsetDecoderのデフォルトアクションを使用することです。

不正な形式の入力およびマップできない文字エラーのデフォルトのアクションは、それらを報告することです。

後者はREPLACEアクションを使用します。

cs.newDecoder().onMalformedInput(CodingErrorAction.REPLACE).onUnmappableCharacter(CodingErrorAction.REPLACE)

ISO-8859-1は、MalformedInputExceptionをスローしないことが保証されているという意味で、包括的な文字セットです。したがって、入力がこの文字セットでなくても、デバッグに適しています。そう：-

req.setCharacterEncoding("ISO-8859-1");

入力にいくつかの二重右引用符/二重左引用符文字があり、US-ASCIIとUTF-8の両方がMalformedInputExceptionをスローしましたが、ISO-8859-1は機能しました。

エラーメッセージでこの例外も発生しました。

java.nio.charset.MalformedInputException: Input length = 1
at java.nio.charset.CoderResult.throwException(Unknown Source)
at sun.nio.cs.StreamEncoder.implWrite(Unknown Source)
at sun.nio.cs.StreamEncoder.write(Unknown Source)
at java.io.OutputStreamWriter.write(Unknown Source)
at java.io.BufferedWriter.flushBuffer(Unknown Source)
at java.io.BufferedWriter.write(Unknown Source)
at java.io.Writer.write(Unknown Source)

使用しようとすると奇妙なバグが発生することがわかりました

BufferedWriter writer = Files.newBufferedWriter(Paths.get(filePath));

クラスのジェネリック型からキャストされた文字列「orazg 54」キャストを記述します。

//key is of generic type <Key extends Comparable<Key>>
writer.write(item.getKey() + "\t" + item.getValue() + "\n");

この文字列は長さが9で、次のコードポイントを持つ文字が含まれています。

111 114 97 122103 9 53 52 10

ただし、クラスのBufferedWriterが次のように置き換えられた場合：

FileOutputStream outputStream = new FileOutputStream(filePath);
BufferedWriter writer = new BufferedWriter(new OutputStreamWriter(outputStream));

例外なくこの文字列を正常に書き込むことができます。また、同じ文字列を文字から作成しても、問題なく動作します。

String string = new String(new char[] {111, 114, 97, 122, 103, 9, 53, 52, 10});
BufferedWriter writer = Files.newBufferedWriter(Paths.get("a.txt"));
writer.write(string);
writer.close();

以前は、最初のBufferedWriterを使用して文字列を書き込むときに、例外が発生することはありませんでした。java.nio.file.Files.newBufferedWriter（path、options）から作成されたBufferedWriterに発生する奇妙なバグです。

ISO_8859_1うまくいきました！カンマ区切り値のテキストファイルを読んでいた

利用可能な文字セットに基づいて結果のリストを標準出力に出力するために、以下を書きました。また、問題の原因となっている文字をトラブルシューティングしている場合に備えて、0から始まる行番号からどの行が失敗するかがわかります。

public static void testCharset(String fileName) {
    SortedMap<String, Charset> charsets = Charset.availableCharsets();
    for (String k : charsets.keySet()) {
        int line = 0;
        boolean success = true;
        try (BufferedReader b = Files.newBufferedReader(Paths.get(fileName),charsets.get(k))) {
            while (b.ready()) {
                b.readLine();
                line++;
            }
        } catch (IOException e) {
            success = false;
            System.out.println(k+" failed on line "+line);
        }
        if (success) 
            System.out.println("*************************  Successs "+k);
    }
}

これを試してください..私は同じ問題がありました、以下の実装は私のために働きました

Reader reader = Files.newBufferedReader(Paths.get(<yourfilewithpath>), StandardCharsets.ISO_8859_1);

次に、Readerを好きな場所で使用します。

前例：

CsvToBean<anyPojo> csvToBean = null;
    try {
        Reader reader = Files.newBufferedReader(Paths.get(csvFilePath), 
                        StandardCharsets.ISO_8859_1);
        csvToBean = new CsvToBeanBuilder(reader)
                .withType(anyPojo.class)
                .withIgnoreLeadingWhiteSpace(true)
                .withSkipLines(1)
                .build();

    } catch (IOException e) {
        e.printStackTrace();
    }

さて、問題は次のFiles.newBufferedReader(Path path)ように実装されていることです：

public static BufferedReader newBufferedReader(Path path) throws IOException {
    return newBufferedReader(path, StandardCharsets.UTF_8);
}

したがって、基本的UTF-8に、コードで説明を必要としない限り、指定しても意味がありません。「より広い」文字セットを試したい場合は、で試すことができますがStandardCharsets.UTF_16、とにかくすべての可能な文字を100％確実に取得することはできません。

あなたはこのようなものを試すことができます、または単に下の部分をコピーして貼り付けてください。

boolean exception = true;
Charset charset = Charset.defaultCharset(); //Try the default one first.        
int index = 0;

while(exception) {
    try {
        lines = Files.readAllLines(f.toPath(),charset);
          for (String line: lines) {
              line= line.trim();
              if(line.contains(keyword))
                  values.add(line);
              }           
        //No exception, just returns
        exception = false; 
    } catch (IOException e) {
        exception = true;
        //Try the next charset
        if(index<Charset.availableCharsets().values().size())
            charset = (Charset) Charset.availableCharsets().values().toArray()[index];
        index ++;
    }
}

UTF-8はポーランド語の文字で機能します