Pythonで基本的なhttpファイルをダウンロードしてディスクに保存しますか？

私はPythonを使い始めたばかりで、質問に対する回答を得るために、このサイトでQ＆Aを行っています。しかし、私は初心者であり、いくつかの解決策を理解するのは難しいと思います。非常に基本的な解決策が必要です。

誰かが「http経由でファイルをダウンロードする」および「Windowsでディスクに保存する」ための簡単な解決策を私に説明してくれませんか？

shutilとosモジュールの使い方もわかりません。

ダウンロードしたいファイルは500 MB以下で、.gzアーカイブファイルです。誰かがアーカイブを抽出してその中のファイルを利用する方法を誰かが説明できれば、それは素晴らしいことです。

以下は、さまざまな回答を組み合わせて書いた部分的な解決策です。

import requests
import os
import shutil

global dump

def download_file():
    global dump
    url = "http://randomsite.com/file.gz"
    file = requests.get(url, stream=True)
    dump = file.raw

def save_file():
    global dump
    location = os.path.abspath("D:\folder\file.gz")
    with open("file.gz", 'wb') as location:
        shutil.copyfileobj(dump, location)
    del dump

誰かがエラーを指摘し（初心者レベル）、これを行うためのより簡単な方法を説明できますか？

ありがとう！

ファイルをダウンロードするクリーンな方法は次のとおりです。

import urllib

testfile = urllib.URLopener()
testfile.retrieve("http://randomsite.com/file.gz", "file.gz")

これにより、Webサイトからファイルがダウンロードされ、名前が付けられfile.gzます。これは、urllibとpythonを介して画像をダウンロードすることから、私のお気に入りのソリューションの1つです。

この例ではurllibライブラリを使用しており、ソースからファイルを直接取得します。

ここで述べたように：

import urllib
urllib.urlretrieve ("http://randomsite.com/file.gz", "file.gz")

EDIT:それでもリクエストを使用したい場合は、この質問またはこれをご覧ください。

私はwgetを使用します。

あなたが例を挙げたいなら、シンプルで良いライブラリですか？

import wget

file_url = 'http://johndoe.com/download.zip'

file_name = wget.download(file_url)

wgetモジュールがpython 2およびpython 3バージョンをサポート

wget、urllib、およびrequestを使用する4つのメソッド。

#!/usr/bin/python
import requests
from StringIO import StringIO
from PIL import Image
import profile as profile
import urllib
import wget


url = 'https://tinypng.com/images/social/website.jpg'

def testRequest():
    image_name = 'test1.jpg'
    r = requests.get(url, stream=True)
    with open(image_name, 'wb') as f:
        for chunk in r.iter_content():
            f.write(chunk)

def testRequest2():
    image_name = 'test2.jpg'
    r = requests.get(url)
    i = Image.open(StringIO(r.content))
    i.save(image_name)

def testUrllib():
    image_name = 'test3.jpg'
    testfile = urllib.URLopener()
    testfile.retrieve(url, image_name)

def testwget():
    image_name = 'test4.jpg'
    wget.download(url, image_name)

if __name__ == '__main__':
    profile.run('testRequest()')
    profile.run('testRequest2()')
    profile.run('testUrllib()')
    profile.run('testwget()')

testRequest-20.236秒で4469882関数呼び出し（4469842プリミティブ呼び出し）

testRequest2-0.072秒で8580関数呼び出し（8574プリミティブ呼び出し）

testUrllib-0.036秒で3810関数呼び出し（3775プリミティブ呼び出し）

testwget-0.020秒で3489関数呼び出し

以下のためのpython3 + URLopener推奨されていません。使用すると、次のようなエラーが発生します。

url_opener = urllib.URLopener（）AttributeError：module 'urllib' has no attribute 'URLopener'

だから、試してみてください：

import urllib.request 
urllib.request.urlretrieve(url, filename)

エキゾチックなWindowsソリューション

import subprocess

subprocess.run("powershell Invoke-WebRequest {} -OutFile {}".format(your_url, filename), shell=True)

ESXiのwgetがSSLでコンパイルされておらず、OVAをベンダーのWebサイトから世界の反対側にあるESXiホストに直接ダウンロードしたかったので、この方法を始めました。

ルールを編集してファイアウォールを無効にする（怠惰）/ httpsを有効にする（適切）

pythonスクリプトを作成しました：

import ssl
import shutil
import tempfile
import urllib.request
context = ssl._create_unverified_context()

dlurl='https://somesite/path/whatever'
with urllib.request.urlopen(durl, context=context) as response:
    with open("file.ova", 'wb') as tmp_file:
        shutil.copyfileobj(response, tmp_file)

ESXiライブラリはペアになっていますが、オープンソースのイタチインストーラはhttpsにurllibを使用しているように見えたので、このパスをたどるように促しました

ファイルを保存するもう1つのクリーンな方法は次のとおりです。

import csv
import urllib

urllib.retrieve("your url goes here" , "output.csv")