Pythonで複数のバイナリファイルを適切に処理する方法

私は現在PycURLモジュールの助けを借りてマルチスレッドダウンローダーに取り組んでいます。ファイルの一部をダウンロードして、後でマージします。

パーツは複数のスレッドから個別にダウンロードされ、バイナリモードで一時ファイルに書き込まれますが、それらを単一のファイルにマージすると（正しい順序でマージされます）、チェックサムが一致しません。

これはLinux環境でのみ発生します。同じスクリプトがWindows envで問題なく動作します。

これは、ファイルをマージするコード（スクリプトの一部）です。

with open(filename,'wb') as outfile:
    print('Merging temp files ...')
    for tmpfile in self.tempfile_arr:
        with open(tmpfile, 'rb') as infile:
            shutil.copyfileobj(infile, outfile)
    print('Done!')

私write()もメソッドを試しました が、同じ問題が発生し、大きなファイルには大量のメモリが必要になります。

catLinuxでパーツファイルを手動で1つのファイルにしてから、ファイルのチェックサムが一致する場合、問題はpythonによるファイルのマージにあります。

編集：
問題を再現するために使用したファイルとチェックサム（sha256）は次のとおりです。

• 元のファイル
  • ハッシュ：158575ed12e705a624c3134ffe3138987c64d6a7298c5a81794ccf6866efd488
• スクリプトによってマージされたファイル
  • ハッシュ：c3e5a0404da480f36d37b65053732abe6d19034f60c3004a908b88d459db7d87

• catを使用して手動でファイルをマージ

  • ハッシュ：158575ed12e705a624c3134ffe3138987c64d6a7298c5a81794ccf6866efd488

  • 使用したコマンド：

    for i in /tmp/pycurl_*_{0..7}; do cat $i >> manually_merged.tar.gz; done

• パーツファイル -末尾に0から7までの番号が付けられています

最小限の再現可能なケースが便利ですが、私は普遍的な改行が問題であると思います：デフォルトでは、ファイルがWindowsスタイルのテキスト（改行は\r\n）の場合、Unixスタイルの改行（\n）に変換されます読書。そして、それらのunixスタイルの改行は、期待していたWindowsスタイルのものではなく、出力ファイルに書き戻されます。それはpythonとの間の相違を説明するでしょうcat（翻訳をまったく行わない）のます。

newline=''（空の文字列）をに渡してスクリプトを実行してみてくださいopen。