サブプロセスからリアルタイムでstdoutをキャッチする

subprocess.Popen()Windowsでrsync.exeを実行し、Pythonでstdoutを出力したいと思います。

私のコードは機能しますが、ファイル転送が完了するまで進行状況をキャッチしません！各ファイルの進捗状況をリアルタイムで印刷したい。

Python 3.1を使用すると、IOの処理に優れていると聞いたので。

import subprocess, time, os, sys

cmd = "rsync.exe -vaz -P source/ dest/"
p, line = True, 'start'


p = subprocess.Popen(cmd,
                     shell=True,
                     bufsize=64,
                     stdin=subprocess.PIPE,
                     stderr=subprocess.PIPE,
                     stdout=subprocess.PIPE)

for line in p.stdout:
    print(">>> " + str(line.rstrip()))
    p.stdout.flush()

の経験則subprocess。

• 絶対に使用しないでくださいshell=True。プログラムを呼び出すために、不必要に追加のシェルプロセスを呼び出します。
• プロセスを呼び出すとき、引数はリストとして渡されます。sys.argvPythonではリストでありargv、Cでも同様です。したがって、文字列ではなく、サブプロセスを呼び出すためにリストを渡しPopenます。
• リダイレクトしないでくださいstderrにPIPEあなたがそれを読んでいないとき。
• stdin書き込みを行っていないときはリダイレクトしないでください。

例：

import subprocess, time, os, sys
cmd = ["rsync.exe", "-vaz", "-P", "source/" ,"dest/"]

p = subprocess.Popen(cmd,
                     stdout=subprocess.PIPE,
                     stderr=subprocess.STDOUT)

for line in iter(p.stdout.readline, b''):
    print(">>> " + line.rstrip())

とはいえ、rsyncは、端末ではなくパイプに接続されていることを検出すると、出力をバッファリングする可能性があります。これはデフォルトの動作です。パイプに接続する場合、プログラムはリアルタイムの結果を得るためにstdoutを明示的にフラッシュする必要があります。そうしないと、標準Cライブラリがバッファリングします。

それをテストするには、代わりにこれを実行してみてください。

cmd = [sys.executable, 'test_out.py']

次test_out.pyの内容のファイルを作成します。

import sys
import time
print ("Hello")
sys.stdout.flush()
time.sleep(10)
print ("World")

そのサブプロセスを実行すると、「Hello」が表示され、10秒待ってから「World」が表示されます。上記のPythonコードで発生し、では発生しない場合は、それ自体が出力をバッファリングしrsyncていることを意味するrsyncため、運が悪いことになります。

解決策はpty、のようなものを使用して、に直接接続することですpexpect。

これは古いトピックですが、現在解決策があります。オプション--outbuf = Lを指定してrsyncを呼び出します。例：

cmd=['rsync', '-arzv','--backup','--outbuf=L','source/','dest']
p = subprocess.Popen(cmd,
                     stdout=subprocess.PIPE)
for line in iter(p.stdout.readline, b''):
    print '>>> {}'.format(line.rstrip())

Linuxでは、バッファリングを取り除くという同じ問題がありました。私はついに「stdbuf-o0」（またはexpectからのバッファリング解除）を使用して、PIPEバッファリングを取り除きました。

proc = Popen(['stdbuf', '-o0'] + cmd, stdout=PIPE, stderr=PIPE)
stdout = proc.stdout

次に、stdoutでselect.selectを使用できます。

/unix/25372/も参照してください

ユースケースによっては、サブプロセス自体のバッファリングを無効にすることもできます。

サブプロセスがPythonプロセスになる場合は、呼び出しの前にこれを行うことができます。

os.environ["PYTHONUNBUFFERED"] = "1"

または、これをenv引数に渡しますPopen。

それ以外の場合は、Linux / Unixを使用している場合は、stdbufツールを使用できます。例：

cmd = ["stdbuf", "-oL"] + cmd

または他のオプションについてもここを参照してくださいstdbuf。

for line in p.stdout:
  ...

次の改行まで常にブロックします。

「リアルタイム」の動作を行うには、次のような操作を行う必要があります。

while True:
  inchar = p.stdout.read(1)
  if inchar: #neither empty string nor None
    print(str(inchar), end='') #or end=None to flush immediately
  else:
    print('') #flush for implicit line-buffering
    break

whileループは、子プロセスが標準出力を閉じるか終了すると終了します。 read()/read(-1)子プロセスが標準出力を閉じるか終了するまでブロックします。

あなたの問題は：

for line in p.stdout:
    print(">>> " + str(line.rstrip()))
    p.stdout.flush()

イテレータ自体には追加のバッファリングがあります。

このようにしてみてください：

while True:
  line = p.stdout.readline()
  if not line:
     break
  print line

stdoutをバッファなしでパイプに出力することはできないので（stdoutに出力するプログラムを書き直すことができない限り）、これが私の解決策です。

stdoutをバッファリングされていないsterrにリダイレクトします。 '<cmd> 1>&2'それをする必要があります。次のようにプロセスを開きますmyproc = subprocess.Popen('<cmd> 1>&2', stderr=subprocess.PIPE)
。stdoutまたはstderrと区別することはできませんが、すべての出力をすぐに取得できます。

これがこの問題に取り組む人の助けになることを願っています。

rsyncプロセスからstdoutをバッファリング解除に変更します。

p = subprocess.Popen(cmd,
                     shell=True,
                     bufsize=0,  # 0=unbuffered, 1=line-buffered, else buffer-size
                     stdin=subprocess.PIPE,
                     stderr=subprocess.PIPE,
                     stdout=subprocess.PIPE)

出力のキャッシュを回避するには、pexpectを試してみてください。

child = pexpect.spawn(launchcmd,args,timeout=None)
while True:
    try:
        child.expect('\n')
        print(child.before)
    except pexpect.EOF:
        break

PS：私はこの質問がかなり古いことを知っています、それでも私のために働いた解決策を提供します。

PPS：別の質問からこの回答を得ました

    p = subprocess.Popen(command,
                                bufsize=0,
                                universal_newlines=True)

私はPythonでrsyncのGUIを書いていますが、同じプローブを持っています。この問題は、pyDocでこれを見つけるまで、数日間私を悩ませてきました。

Universal_newlinesがTrueの場合、ファイルオブジェクトstdoutおよびstderrは、ユニバーサル改行モードでテキストファイルとして開かれます。行は、Unixの行末規則である「\ n」、古いMacintoshの規則である「\ r」、またはWindowsの規則である「\ r \ n」のいずれかで終了できます。これらの外部表現はすべて、Pythonプログラムでは「\ n」と見なされます。

変換が行われているとき、rsyncは '\ r'を出力するようです。

一時ファイルを中間として使用することについての言及がないことに気づきました。以下は、一時ファイルに出力することでバッファリングの問題を回避し、ptyに接続せずにrsyncからのデータを解析できるようにします。Linuxボックスで以下をテストしましたが、rsyncの出力はプラットフォーム間で異なる傾向があるため、出力を解析するための正規表現は異なる場合があります。

import subprocess, time, tempfile, re

pipe_output, file_name = tempfile.TemporaryFile()
cmd = ["rsync", "-vaz", "-P", "/src/" ,"/dest"]

p = subprocess.Popen(cmd, stdout=pipe_output, 
                     stderr=subprocess.STDOUT)
while p.poll() is None:
    # p.poll() returns None while the program is still running
    # sleep for 1 second
    time.sleep(1)
    last_line =  open(file_name).readlines()
    # it's possible that it hasn't output yet, so continue
    if len(last_line) == 0: continue
    last_line = last_line[-1]
    # Matching to "[bytes downloaded]  number%  [speed] number:number:number"
    match_it = re.match(".* ([0-9]*)%.* ([0-9]*:[0-9]*:[0-9]*).*", last_line)
    if not match_it: continue
    # in this case, the percentage is stored in match_it.group(1), 
    # time in match_it.group(2).  We could do something with it here...

このようなものをスレッドで実行し、ffmpeg_timeプロパティをメソッドのプロパティに保存してアクセスできるようにすると、非常にうまく機能します。次のような出力が得られます 。tkinterでスレッドを使用する場合の出力

input = 'path/input_file.mp4'
output = 'path/input_file.mp4'
command = "ffmpeg -y -v quiet -stats -i \"" + str(input) + "\" -metadata title=\"@alaa_sanatisharif\" -preset ultrafast -vcodec copy -r 50 -vsync 1 -async 1 \"" + output + "\""
process = subprocess.Popen(command, stdout=subprocess.PIPE, stderr=subprocess.STDOUT, universal_newlines=True, shell=True)
for line in self.process.stdout:
    reg = re.search('\d\d:\d\d:\d\d', line)
    ffmpeg_time = reg.group(0) if reg else ''
    print(ffmpeg_time)

Python 3のソリューションは次のとおりです。コマンドラインからコマンドを削除し、受信時にリアルタイムで適切にデコードされた文字列を配信します。

レシーバー（receiver.py）：

import subprocess
import sys

cmd = sys.argv[1:]
p = subprocess.Popen(cmd, stdout=subprocess.PIPE)
for line in p.stdout:
    print("received: {}".format(line.rstrip().decode("utf-8")))

リアルタイム出力を生成できる簡単なプログラムの例（dummy_out.py）：

import time
import sys

for i in range(5):
    print("hello {}".format(i))
    sys.stdout.flush()  
    time.sleep(1)

出力：

$python receiver.py python dummy_out.py
received: hello 0
received: hello 1
received: hello 2
received: hello 3
received: hello 4