subprocess.communicate（）からストリーミング入力を読み取ります

私はPythonを使用subprocess.communicate()して、約1分間実行されるプロセスからstdoutを読み取ります。

そのプロセスの各行をstdoutストリーミング形式で印刷して、生成された出力を確認しながら、続行する前に終了するプロセスをブロックするにはどうすればよいですか？

subprocess.communicate() 一度にすべての出力を提供するように見えます。

JFセバスティアンの方法（下記）の方が良いと思いますのでご注意ください。

これは簡単な例です（エラーのチェックなし）：

import subprocess
proc = subprocess.Popen('ls',
                       shell=True,
                       stdout=subprocess.PIPE,
                       )
while proc.poll() is None:
    output = proc.stdout.readline()
    print output,

場合lsは、すべてのデータを読んだ前に、両端が速すぎて、その後、whileループは終了します。

この方法で残りをstdoutでキャッチできます。

output = proc.communicate()[0]
print output,

サブプロセスがstdoutバッファをフラッシュするとすぐに、サブプロセスの出力を1行ずつ取得するには：

#!/usr/bin/env python2
from subprocess import Popen, PIPE

p = Popen(["cmd", "arg1"], stdout=PIPE, bufsize=1)
with p.stdout:
    for line in iter(p.stdout.readline, b''):
        print line,
p.wait() # wait for the subprocess to exit

iter()Python 2の先読みバグを回避するために、行が書き込まれるとすぐに行を読み取るために使用されます。

サブプロセスのstdoutが非対話モードでラインバッファリングの代わりにブロックバッファリングを使用する場合（これにより、子のバッファがいっぱいになるか、子によって明示的にフラッシュされるまで出力が遅延します）、を使用してバッファなしの出力を強制することができます pexpect、ptyモジュールまたはunbuffer、stdbuf、scriptユーティリティは、参照Qを：なぜちょうど（のpopen（））のパイプを使用していませんか？

Python3のコードは次のとおりです。

#!/usr/bin/env python3
from subprocess import Popen, PIPE

with Popen(["cmd", "arg1"], stdout=PIPE, bufsize=1,
           universal_newlines=True) as p:
    for line in p.stdout:
        print(line, end='')

注：サブプロセスのバイト文字列をそのまま出力するPython2とは異なります。Python 3はテキストモードを使用します（cmdの出力はlocale.getpreferredencoding(False)エンコーディングを使用してデコードされます）。

ストリーミング方式でプロセスから出力を収集する最も簡単な方法は次のようなものだと思います。

import sys
from subprocess import *
proc = Popen('ls', shell=True, stdout=PIPE)
while True:
    data = proc.stdout.readline()   # Alternatively proc.stdout.read(1024)
    if len(data) == 0:
        break
    sys.stdout.write(data)   # sys.stdout.buffer.write(data) on Python 3.x

readline()またはread()プロセスが終了した後に機能のみ、EOFに空の文字列を返すべきである-読むために何が（存在しない場合、それ以外の場合はブロックされますreadline()ので、空の行に、それは「\ n」を返し、改行を含みます）。これによりcommunicate()、ループ後に厄介な最終呼び出しを行う必要がなくなります。

非常に長い行のファイルではread()、最大メモリ使用量を減らすために望ましい場合があります-渡される数は任意ですが、それを除外すると、パイプ出力全体を一度に読み取ることになり、おそらく望ましくありません。

ノンブロッキングアプローチが必要な場合は、を使用しないでくださいprocess.communicate()。subprocess.Popen()引数stdoutをPIPEに設定すると、から読み取りprocess.stdout、プロセスがまだ実行されてprocess.poll()いるかどうかを確認できます。

単に出力をリアルタイムで通過させようとしている場合、これよりも単純にするのは困難です。

import subprocess

# This will raise a CalledProcessError if the program return a nonzero code.
# You can use call() instead if you don't care about that case.
subprocess.check_call(['ls', '-l'])

subprocess.check_call（）のドキュメントを参照してください。

出力を処理する必要がある場合は、必ずループしてください。ただし、そうでない場合は、単純にしてください。

編集： JFセバスチャンは、stdoutおよびstderrパラメーターのデフォルトがsys.stdoutおよびsys.stderrに渡されること、およびsys.stdoutおよびsys.stderrが置き換えられた場合（たとえば、テスト）。

myCommand="ls -l"
cmd=myCommand.split()
# "universal newline support" This will cause to interpret \n, \r\n and \r     equally, each as a newline.
p = subprocess.Popen(cmd, stderr=subprocess.PIPE, universal_newlines=True)
while True:    
    print(p.stderr.readline().rstrip('\r\n'))

いくつかの小さな変更を加えた別のpython3ソリューションの追加：

1. シェルプロセスの終了コードをキャッチできます（with構成の使用中に終了コードを取得できませんでした）
2. また、stderrをリアルタイムでパイプします

import subprocess
import sys
def subcall_stream(cmd, fail_on_error=True):
    # Run a shell command, streaming output to STDOUT in real time
    # Expects a list style command, e.g. `["docker", "pull", "ubuntu"]`
    p = subprocess.Popen(cmd, stdout=subprocess.PIPE, stderr=subprocess.STDOUT, bufsize=1, universal_newlines=True)
    for line in p.stdout:
        sys.stdout.write(line)
    p.wait()
    exit_code = p.returncode
    if exit_code != 0 and fail_on_error:
        raise RuntimeError(f"Shell command failed with exit code {exit_code}. Command: `{cmd}`")
    return(exit_code)