Pythonでバックグラウンドプロセスを開始する方法

シェルスクリプトをより読みやすいpythonバージョンに移植しようとしています。元のシェルスクリプトは、「＆」でバックグラウンドでいくつかのプロセス（ユーティリティ、モニターなど）を開始します。Pythonで同じ効果を得るにはどうすればよいですか？Pythonスクリプトが完了したときに、これらのプロセスが停止しないようにしてください。どういうわけかデーモンの概念に関連していると思いますが、簡単にこれを行う方法を見つけることができませんでした。

注：この回答は2009年に投稿されたときよりも最新ではありません。subprocess他の回答に示されているモジュールを使用することは、ドキュメントで推奨されています

（サブプロセスモジュールは、新しいプロセスを生成して結果を取得するためのより強力な機能を提供することに注意してください。これらの関数を使用するよりもそのモジュールを使用することをお勧めします。）

プロセスをバックグラウンドで開始したい場合system()は、シェルスクリプトと同じように使用して呼び出すか、次のようにできspawnます。

import os
os.spawnl(os.P_DETACH, 'some_long_running_command')

（または、代わりに、移植性の低いos.P_NOWAITフラグを試すこともできます）。

こちらのドキュメントをご覧ください。

一方でJKPのソリューションの作品、物事の新しい方法（およびドキュメントが推奨する方法）が使用することですsubprocessモジュールを。単純なコマンドの場合は同等ですが、複雑なことをしたい場合はより多くのオプションを提供します。

あなたのケースの例：

import subprocess
subprocess.Popen(["rm","-r","some.file"])

これはrm -r some.fileバックグラウンドで実行されます。.communicate()から返されたオブジェクトを呼び出すと、Popen完了するまでブロックされるので、バックグラウンドで実行する場合は実行しないでください。

import subprocess
ls_output=subprocess.Popen(["sleep", "30"])
ls_output.communicate()  # Will block for 30 seconds

こちらのドキュメントをご覧ください。

また、明確化のポイント：ここで使用する「背景」は純粋にシェルの概念です。技術的には、プロセスが完了するのを待つ間、プロセスをブロックせずに生成したいということです。ただし、ここでは「バックグラウンド」を使用して、シェルのバックグラウンドに似た動作を示しています。

「Pythonで外部コマンドを呼び出す方法」への回答が必要になるでしょう。

最も簡単な方法は、os.system関数を使用することです。例：

import os
os.system("some_command &")

基本的に、system関数に渡したものはすべて、スクリプトでシェルに渡した場合と同じように実行されます。

私はこれをここで見つけました：

Windows（win xp）では、親プロセスは、longtask.pyが作業を完了するまで完了しません。それはあなたがCGIスクリプトで望むものではありません。この問題はPythonに固有のものではなく、PHPコミュニティでも問題は同じです。

解決策は、DETACHED_PROCESS プロセス作成フラグをCreateProcesswin APIの基になる関数に渡すことです。pywin32をインストールした場合は、win32processモジュールからフラグをインポートできます。それ以外の場合は、自分で定義する必要があります。

DETACHED_PROCESS = 0x00000008

pid = subprocess.Popen([sys.executable, "longtask.py"],
                       creationflags=DETACHED_PROCESS).pid

パラメータsubprocess.Popen()とともに使用すると、close_fds=True生成されたサブプロセスをPythonプロセス自体から切り離し、Pythonが終了した後も実行を継続できます。

https://gist.github.com/yinjimmy/d6ad0742d03d54518e9f

import os, time, sys, subprocess

if len(sys.argv) == 2:
    time.sleep(5)
    print 'track end'
    if sys.platform == 'darwin':
        subprocess.Popen(['say', 'hello'])
else:
    print 'main begin'
    subprocess.Popen(['python', os.path.realpath(__file__), '0'], close_fds=True)
    print 'main end'

おそらく、さまざまなスレッドをforkするためにosモジュールの調査を開始する必要があります（対話式セッションを開き、help（os）を発行することにより）。関連する関数はforkとexecの関数です。開始方法についてのアイデアを提供するには、フォークを実行する関数に次のようなものを入れます（関数はリストまたはタプル「args」をプログラムの名前とそのパラメーターを含む引数として取る必要があります。また、新しいスレッドの標準入力、出力、エラーを定義するには）：

try:
    pid = os.fork()
except OSError, e:
    ## some debug output
    sys.exit(1)
if pid == 0:
    ## eventually use os.putenv(..) to set environment variables
    ## os.execv strips of args[0] for the arguments
    os.execv(args[0], args)

出力のキャプチャとバックグラウンドでの実行の両方 threading

この回答で述べたように、で出力をキャプチャしstdout=てからしようとするread()と、プロセスがブロックされます。

ただし、これが必要な場合があります。たとえば、それらの間のポートを介して通信する2つのプロセスを起動し、それらの標準出力をログファイルと標準出力に保存したいと考えました。

threadingモジュールは、私たちはそれを行うことができます。

まず、この質問で出力リダイレクトの部分だけを行う方法を見てください：Python Popen：stdoutとログファイルに同時に書き込み

次に：

main.py

#!/usr/bin/env python3

import os
import subprocess
import sys
import threading

def output_reader(proc, file):
    while True:
        byte = proc.stdout.read(1)
        if byte:
            sys.stdout.buffer.write(byte)
            sys.stdout.flush()
            file.buffer.write(byte)
        else:
            break

with subprocess.Popen(['./sleep.py', '0'], stdout=subprocess.PIPE, stderr=subprocess.PIPE) as proc1, \
     subprocess.Popen(['./sleep.py', '10'], stdout=subprocess.PIPE, stderr=subprocess.PIPE) as proc2, \
     open('log1.log', 'w') as file1, \
     open('log2.log', 'w') as file2:
    t1 = threading.Thread(target=output_reader, args=(proc1, file1))
    t2 = threading.Thread(target=output_reader, args=(proc2, file2))
    t1.start()
    t2.start()
    t1.join()
    t2.join()

sleep.py

#!/usr/bin/env python3

import sys
import time

for i in range(4):
    print(i + int(sys.argv[1]))
    sys.stdout.flush()
    time.sleep(0.5)

実行後：

./main.py

stdoutは、2行ごとに0.5秒ごとに更新されます。

0
10
1
11
2
12
3
13

各ログファイルには、特定のプロセスの各ログが含まれています。

触発：https : //eli.thegreenplace.net/2017/interacting-with-a-long-running-child-process-in-python/

Ubuntu 18.04、Python 3.6.7でテスト済み。