ストリームバッファをutf8-stringに変換する

node.jsを使用してHTTPリクエストを作成し、ウェブサーバーからテキストを読み込みたいのですが。応答には多くのテキスト（数メガバイト）を含めることができるため、各テキストチャンクを個別に処理したいと考えています。次のコードを使用してこれを実現できます。

var req = http.request(reqOptions, function(res) {
    ...
    res.setEncoding('utf8');
    res.on('data', function(textChunk) {
        // process utf8 text chunk
    });
});

これは問題なく動作しているようです。ただし、HTTP圧縮をサポートするため、zlibを使用します。

var zip = zlib.createUnzip();

// NO res.setEncoding('utf8') here since we need the raw bytes for zlib
res.on('data', function(chunk) {
    // do something like checking the number of bytes downloaded
    zip.write(chunk); // give the raw bytes to zlib, s.b.
});

zip.on('data', function(chunk) {
    // convert chunk to utf8 text:
    var textChunk = chunk.toString('utf8');

    // process utf8 text chunk
});

これ'\u00c4'は、2バイトで構成されるようなマルチバイト文字の問題になる可能性があります：0xC3と0x84。最初のバイトが最初のチャンク（Buffer）でカバーされ、2番目のバイトが2番目のチャンクでカバーされている場合chunk.toString('utf8')テキストチャンクの最後または先頭に正しくない文字が生成されます。どうすればこれを回避できますか？

ヒント：ダウンロードするバイト数を制限するために、バッファ（より具体的にはバッファ内のバイト数）が必要です。したがってres.setEncoding('utf8')、上記の最初のコード例のように非圧縮データにlikeを使用しても、私のニーズには適合しません。

シングルバッファ

シングルがある場合は、バイナリコンテンツのすべてまたは一部を特定のエンコーディングを使用して文字列に変換するメソッドをBuffer使用できますtoString。utf8パラメータを指定しない場合のデフォルトですが、この例ではエンコードを明示的に設定しています。

var req = http.request(reqOptions, function(res) {
    ...

    res.on('data', function(chunk) {
        var textChunk = chunk.toString('utf8');
        // process utf8 text chunk
    });
});

ストリーミングバッファ

上記の質問のように、マルチバイト文字の最初のバイトがUTF8最初のBuffer（チャンク）に含まれ、2番目のバイトが2番目のバイトに含まれる可能性があるストリームバッファがあるBuffer場合は、を使用する必要がありStringDecoderます。：

var StringDecoder = require('string_decoder').StringDecoder;

var req = http.request(reqOptions, function(res) {
    ...
    var decoder = new StringDecoder('utf8');

    res.on('data', function(chunk) {
        var textChunk = decoder.write(chunk);
        // process utf8 text chunk
    });
});

このようにして、必要なすべてのバイトがデコーダーに書き込まれるまで、不完全な文字のバイトがによってバッファーされStringDecoderます。

var fs = require("fs");

function readFileLineByLine(filename, processline) {
    var stream = fs.createReadStream(filename);
    var s = "";
    stream.on("data", function(data) {
        s += data.toString('utf8');
        var lines = s.split("\n");
        for (var i = 0; i < lines.length - 1; i++)
            processline(lines[i]);
        s = lines[lines.length - 1];
    });

    stream.on("end",function() {
        var lines = s.split("\n");
        for (var i = 0; i < lines.length; i++)
            processline(lines[i]);
    });
}

var linenumber = 0;
readFileLineByLine(filename, function(line) {
    console.log(++linenumber + " -- " + line);
});