リクエストを使用してPythonで大きなファイルをダウンロードする

リクエストは本当に素晴らしいライブラリです。大きなファイル（> 1GB）のダウンロードに使用したい。問題は、ファイル全体をメモリに保持できないため、チャンクで読み取る必要があることです。そして、これは次のコードの問題です

import requests

def DownloadFile(url)
    local_filename = url.split('/')[-1]
    r = requests.get(url)
    f = open(local_filename, 'wb')
    for chunk in r.iter_content(chunk_size=512 * 1024): 
        if chunk: # filter out keep-alive new chunks
            f.write(chunk)
    f.close()
    return 

何らかの理由で、この方法では機能しません。それでもファイルに保存する前に応答をメモリにロードします。

更新

FTPから大きなファイルをダウンロードできる小さなクライアント（Python 2.x /3.x）が必要な場合は、こちらで見つけることができます。マルチスレッドと再接続をサポートし（接続を監視します）、ダウンロードタスクのソケットパラメータも調整します。

次のストリーミングコードでは、ダウンロードされたファイルのサイズに関係なく、Pythonのメモリ使用量が制限されています。

def download_file(url):
    local_filename = url.split('/')[-1]
    # NOTE the stream=True parameter below
    with requests.get(url, stream=True) as r:
        r.raise_for_status()
        with open(local_filename, 'wb') as f:
            for chunk in r.iter_content(chunk_size=8192): 
                # If you have chunk encoded response uncomment if
                # and set chunk_size parameter to None.
                #if chunk: 
                f.write(chunk)
    return local_filename

を使用して返されるバイト数はiter_content正確にはchunk_size;でないことに注意してください。乱数であることが多く、はるかに大きく、反復ごとに異なることが予想されます。

詳細については、https：//requests.readthedocs.io/en/latest/user/advanced/#body-content-workflowおよびhttps://requests.readthedocs.io/en/latest/api/#requests.Response.iter_contentを参照してください参照。

とを使用するResponse.rawと、はるかに簡単になりますshutil.copyfileobj()。

import requests
import shutil

def download_file(url):
    local_filename = url.split('/')[-1]
    with requests.get(url, stream=True) as r:
        with open(local_filename, 'wb') as f:
            shutil.copyfileobj(r.raw, f)

    return local_filename

これにより、過度のメモリを使用せずにファイルがディスクにストリーミングされ、コードは簡単です。

OPが求めていたものとは正確には異なりますが、urllib次のようにしてそれを実行するのは途方もなく簡単です。

from urllib.request import urlretrieve
url = 'http://mirror.pnl.gov/releases/16.04.2/ubuntu-16.04.2-desktop-amd64.iso'
dst = 'ubuntu-16.04.2-desktop-amd64.iso'
urlretrieve(url, dst)

または、この方法で一時ファイルに保存したい場合：

from urllib.request import urlopen
from shutil import copyfileobj
from tempfile import NamedTemporaryFile
url = 'http://mirror.pnl.gov/releases/16.04.2/ubuntu-16.04.2-desktop-amd64.iso'
with urlopen(url) as fsrc, NamedTemporaryFile(delete=False) as fdst:
    copyfileobj(fsrc, fdst)

私はプロセスを見ました：

watch 'ps -p 18647 -o pid,ppid,pmem,rsz,vsz,comm,args; ls -al *.iso'

ファイルが大きくなるのを見ましたが、メモリ使用量は17 MBのままでした。何か不足していますか？

チャンクサイズが大きすぎる可能性があります。一度に1024バイトを落としてみましたか？（また、with構文を整理するために使用できます）

def DownloadFile(url):
    local_filename = url.split('/')[-1]
    r = requests.get(url)
    with open(local_filename, 'wb') as f:
        for chunk in r.iter_content(chunk_size=1024): 
            if chunk: # filter out keep-alive new chunks
                f.write(chunk)
    return 

ちなみに、レスポンスがメモリにロードされたとどうやって推測しますか？

Pythonは他から、ファイルにデータをフラッシュしていないかのように聞こえるSOの質問あなたは試みることができるf.flush()とos.fsync()、ファイルの書き込みや空きメモリを強制的に。

    with open(local_filename, 'wb') as f:
        for chunk in r.iter_content(chunk_size=1024): 
            if chunk: # filter out keep-alive new chunks
                f.write(chunk)
                f.flush()
                os.fsync(f.fileno())