ノードで行ごとに標準入力から読み取る方法


177

次のようなコマンドライン呼び出しを使用して、nodeでテキストファイルを処理しようとしています。

node app.js < input.txt

ファイルの各行は個別に処理する必要がありますが、一度処理すると、入力行を忘れることがあります。

stdinのオンデータリスナーを使用して、バイトサイズでチャンクされた入力ストリームを取得するため、これを設定します。

process.stdin.resume();
process.stdin.setEncoding('utf8');

var lingeringLine = "";

process.stdin.on('data', function(chunk) {
    lines = chunk.split("\n");

    lines[0] = lingeringLine + lines[0];
    lingeringLine = lines.pop();

    lines.forEach(processLine);
});

process.stdin.on('end', function() {
    processLine(lingeringLine);
});

しかし、これはとてもずさんなようです。行配列の最初と最後のアイテムの周りをマッサージする必要があります。これを行うよりエレガントな方法はありませんか?

回答:


207

readlineモジュールを使用して、行ごとにstdinから読み取ることができます。

var readline = require('readline');
var rl = readline.createInterface({
  input: process.stdin,
  output: process.stdout,
  terminal: false
});

rl.on('line', function(line){
    console.log(line);
})

3
コンソールで手動で入力を入力する場合はこれでうまくいくようですが、コマンドにファイルを渡すと、ファイルはstdoutに送信されます。バグ?この時点では、readlineは不安定であると見なされています。
マットR.ウィルソン

1
process.stdout別の書き込み可能なストリームに変更するだけでよいと思いますoutput: new require('stream').Writable()
Jeff Sisson

3
残念ながら、私は標準出力が必要です。質問には入れませんでしたが、アプリをとして使用できるようにしようとしていnode app.js < input.txt > output.txtます。
Matt R. Wilson、

どうやらこれは「設計による」github.com/joyent/node/issues/4243#issuecomment-10133900です。だから私はあなたが言ったようにして、出力オプションにダミーの書き込み可能なストリームを提供し、次にstdoutストリームに直接書き込みました。嫌いですが、うまくいきます。
マットR.ウィルソン

13
引数terminal: falseをcreateInterfaceに渡すと、この問題が修正されるように見えます。
jasoncrawford、2014

61
// Work on POSIX and Windows
var fs = require("fs");
var stdinBuffer = fs.readFileSync(0); // STDIN_FILENO = 0
console.log(stdinBuffer.toString());

3
詳細を教えてください。すでに高く評価された承認済みの回答があります
jhhoff02

2
これは私には機能しません(ノードv9.2.0、Windows)。Error: EISDIR: illegal operation on a directory, fstat at tryStatSync(fs.js:534:13) `
AlexChaffee

2
ノードv6.11.2、OSXで私のために働いた。
tiffon

3
@AlexChaffee:stdin入力がない場合、またはstdinが閉じている場合、Windows(v9.10.1以降でも存在する)にバグがあるようです- このGitHubの問題を参照してください。ただし、これとは別に、ソリューション Windowsでも機能します。
mklement0

3
非常にうまく機能し、断然最短ですが、実行することで短くなる可能性がありますfs.readFileSync(0).toString()
localhostdotdev

56

readline端末(つまりprocess.stdin.isTTY === true)で動作するように特別に設計されています。同様に、ジェネリックストリームの分割機能を提供するモジュールがたくさんあります分割が。それは物事を非常に簡単にします:

process.stdin.pipe(require('split')()).on('data', processLine)

function processLine (line) {
  console.log(line + '!')
}

6
いいえ、ちがいます。行
ごと

6
ヒント:すべての行を処理した後でコードを実行する場合は.on('end', doMoreStuff)、最初のの後に追加し.on()ます。.on()JavaScriptは同期的ではないため、を使用したステートメントの後に通常どおりにコードを記述した場合、そのコードは入力が読み取られる前に実行されることに注意してください。
Rory O'Kane

14
#!/usr/bin/env node

const EventEmitter = require('events');

function stdinLineByLine() {
  const stdin = new EventEmitter();
  let buff = "";

  process.stdin
    .on('data', data => {
      buff += data;
      lines = buff.split(/[\r\n|\n]/);
      buff = lines.pop();
      lines.forEach(line => stdin.emit('line', line));
    })
    .on('end', () => {
      if (buff.length > 0) stdin.emit('line', buff);
    });

  return stdin;
}

const stdin = stdinLineByLine();
stdin.on('line', console.log);

0

他の人と共有する:

1行ずつストリームを読み取ります。stdinにパイプされた大きなファイルに適しています。私のバージョン:

var n=0;
function on_line(line,cb)
{
    ////one each line
    console.log(n++,"line ",line);
    return cb();
    ////end of one each line
}

var fs = require('fs');
var readStream = fs.createReadStream('all_titles.txt');
//var readStream = process.stdin;
readStream.pause();
readStream.setEncoding('utf8');

var buffer=[];
readStream.on('data', (chunk) => {
    const newlines=/[\r\n]+/;
    var lines=chunk.split(newlines)
    if(lines.length==1)
    {
        buffer.push(lines[0]);
        return;
    }   

    buffer.push(lines[0]);
    var str=buffer.join('');
    buffer.length=0;
    readStream.pause();

    on_line(str,()=>{
        var i=1,l=lines.length-1;
        i--;
        function while_next()
        {
            i++;
            if(i<l)
            {
                return on_line(lines[i],while_next);
            }
            else
            {
                buffer.push(lines.pop());
                lines.length=0;
                return readStream.resume();
            }
        }
        while_next();
    });
  }).on('end', ()=>{
      if(buffer.length)
          var str=buffer.join('');
          buffer.length=0;
        on_line(str,()=>{
            ////after end
            console.error('done')
            ////end after end
        });
  });
readStream.resume();

-1

私の場合、プログラム(elinks)は空のように見える行を返しましたが、実際には特別な終端文字、カラー制御コード、およびバックスペースがあったためgrep、他の回答で提示されたオプションは機能しませんでした。そこで、この小さなスクリプトをNode.jsで記述しました。ファイルを呼び出しましたがtight、これはランダムな名前です。

#!/usr/bin/env node

function visible(a) {
    var R  =  ''
    for (var i = 0; i < a.length; i++) {
        if (a[i] == '\b') {  R -= 1; continue; }  
        if (a[i] == '\u001b') {
            while (a[i] != 'm' && i < a.length) i++
            if (a[i] == undefined) break
        }
        else R += a[i]
    }
    return  R
}

function empty(a) {
    a = visible(a)
    for (var i = 0; i < a.length; i++) {
        if (a[i] != ' ') return false
    }
    return  true
}

var readline = require('readline')
var rl = readline.createInterface({ input: process.stdin, output: process.stdout, terminal: false })

rl.on('line', function(line) {
    if (!empty(line)) console.log(line) 
})
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.