Python連結テキストファイル

のような20個のファイル名のリストがあります['file1.txt', 'file2.txt', ...]。これらのファイルを新しいファイルに連結するPythonスクリプトを書きたいのですが。で各ファイルを開き、をf = open(...)呼び出しf.readline()て1行ずつ読み取り、新しいファイルに各行を書き込むことができます。私にとっては、特に「エレガント」には思えません。特に、1行ずつ読み書きする必要がある部分は。

Pythonでこれを行う「よりエレガントな」方法はありますか？

これでうまくいくはずです

大きなファイルの場合：

filenames = ['file1.txt', 'file2.txt', ...]
with open('path/to/output/file', 'w') as outfile:
    for fname in filenames:
        with open(fname) as infile:
            for line in infile:
                outfile.write(line)

小さなファイルの場合：

filenames = ['file1.txt', 'file2.txt', ...]
with open('path/to/output/file', 'w') as outfile:
    for fname in filenames:
        with open(fname) as infile:
            outfile.write(infile.read())

…そして私が考えた別の興味深いもの：

filenames = ['file1.txt', 'file2.txt', ...]
with open('path/to/output/file', 'w') as outfile:
    for line in itertools.chain.from_iterable(itertools.imap(open, filnames)):
        outfile.write(line)

悲しいことに、この最後の方法では、いくつかの開いているファイル記述子が残りますが、GCはとにかくそれを処理する必要があります。面白かったと思いました

を使用しshutil.copyfileobjます。

入力ファイルをチャンクごとに自動的に読み取ります。これは、より効率的であり、入力ファイルを読み取るため、入力ファイルの一部が大きすぎてメモリに収まらない場合でも機能します。

import shutil

with open('output_file.txt','wb') as wfd:
    for f in ['seg1.txt','seg2.txt','seg3.txt']:
        with open(f,'rb') as fd:
            shutil.copyfileobj(fd, wfd)

これがまさにfileinputの目的です。

import fileinput
with open(outfilename, 'w') as fout, fileinput.input(filenames) as fin:
    for line in fin:
        fout.write(line)

この使用例では、ファイルを手動で反復するよりもそれほど単純ではありませんが、他の場合では、すべてのファイルを1つのファイルのように反復する単一のイテレータがあると非常に便利です。（また、実際にfileinputすぐにそれは手段を行うのように各ファイルを閉じをする必要はありませんwithかcloseそれぞれが、それはただ1行の貯蓄ではなく、契約の大きなものです。）

fileinputには、各行をフィルタリングするだけでファイルのインプレース変更を行う機能など、他にもいくつかの便利な機能があります。

コメントに記載され、別の投稿で説明されているように、fileinputPython 2.7は指示どおりに機能しません。ここで、コードをPython 2.7準拠にするためのわずかな変更

with open('outfilename', 'w') as fout:
    fin = fileinput.input(filenames)
    for line in fin:
        fout.write(line)
    fin.close()

私は優雅さについて知りませんが、これはうまくいきます：

    import glob
    import os
    for f in glob.glob("file*.txt"):
         os.system("cat "+f+" >> OutFile.txt")

UNIXコマンドの何が問題になっていますか？（Windowsで作業していない場合）：

ls | xargs cat | tee output.txt 仕事をします（あなたが望むなら、あなたはそれをサブプロセスでPythonから呼び出すことができます）

outfile.write(infile.read()) # time: 2.1085190773010254s
shutil.copyfileobj(fd, wfd, 1024*1024*10) # time: 0.60599684715271s

シンプルなベンチマークは、shutilのパフォーマンスが高いことを示しています。

@ inspectorG4dget回答の代替手段（日付29-03-2016に対する最良の回答）。436MBの3つのファイルでテストしました。

@ inspectorG4dgetソリューション：162秒

次の解決策：125秒

from subprocess import Popen
filenames = ['file1.txt', 'file2.txt', 'file3.txt']
fbatch = open('batch.bat','w')
str ="type "
for f in filenames:
    str+= f + " "
fbatch.write(str + " > file4results.txt")
fbatch.close()
p = Popen("batch.bat", cwd=r"Drive:\Path\to\folder")
stdout, stderr = p.communicate()

アイデアは、「古き良き技術」を利用してバッチファイルを作成して実行することです。その半パイソンがより速く動作します。Windowsで動作します。

ディレクトリに多数のファイルがある場合は、glob2手動でファイル名を書き込むよりも、ファイル名のリストを生成する方が良いオプションとなる場合があります。

import glob2

filenames = glob2.glob('*.txt')  # list of all .txt files in the directory

with open('outfile.txt', 'w') as f:
    for file in filenames:
        with open(file) as infile:
            f.write(infile.read()+'\n')

Fileオブジェクトの.read（）メソッドを確認してください。

http://docs.python.org/2/tutorial/inputoutput.html#methods-of-file-objects

あなたは次のようなことをすることができます：

concat = ""
for file in files:
    concat += open(file).read()

またはより「エレガントな」python-way：

concat = ''.join([open(f).read() for f in files])

この記事によると、http：//www.skymind.com/~ocrow/python_string/も最速です。

ファイルが巨大でない場合：

with open('newfile.txt','wb') as newf:
    for filename in list_of_files:
        with open(filename,'rb') as hf:
            newf.write(hf.read())
            # newf.write('\n\n\n')   if you want to introduce
            # some blank lines between the contents of the copied files

ファイルが大きすぎて完全に読み取ってRAMに保持できない場合、アルゴリズムを使用して各ファイルを読み取り、ループなどで固定長のチャンクでコピーする必要がありますread(10000)。

def concatFiles():
    path = 'input/'
    files = os.listdir(path)
    for idx, infile in enumerate(files):
        print ("File #" + str(idx) + "  " + infile)
    concat = ''.join([open(path + f).read() for f in files])
    with open("output_concatFile.txt", "w") as fo:
        fo.write(path + concat)

if __name__ == "__main__":
    concatFiles()

  import os
  files=os.listdir()
  print(files)
  print('#',tuple(files))
  name=input('Enter the inclusive file name: ')
  exten=input('Enter the type(extension): ')
  filename=name+'.'+exten
  output_file=open(filename,'w+')
  for i in files:
    print(i)
    j=files.index(i)
    f_j=open(i,'r')
    print(f_j.read())
    for x in f_j:
      outfile.write(x)