タグ付けされた質問 「urllib」

小さなユーティリティを使用して、定期的にWebサイトからMP3ファイルをダウンロードし、iTunesに追加したポッドキャストXMLファイルを作成/更新しています。 XMLファイルを作成/更新するテキスト処理はPythonで記述されています。しかし、私はWindows内でwgetを使用しています.bat実際のMP3ファイルをダウンロードするにはファイルます。ユーティリティ全体をPythonで記述したいと思います。 実際にPythonでファイルをダウンロードする方法を見つけるのに苦労しました。 wget。 では、Pythonを使用してファイルをダウンロードするにはどうすればよいですか？

875 python  http  urllib 

Pythonでは、間の違い何ですかurllib、urllib2、urllib3およびrequestsモジュールは？なぜ3つあるのですか？彼らは同じことをしているようです...

750 python  python-requests  urllib2  urllib  python-2.x 

送信する前に、この文字列をURLエンコードしようとしています。 queryString = 'eventName=' + evt.fields["eventName"] + '&' + 'eventDescription=' + evt.fields["eventDescription"];

552 python  urllib  urlencode 

私が行った場合 url = "http://example.com?p=" + urllib.quote(query) それはコードしない/に%2F（休憩OAuthの正規化） Unicodeを処理しません（例外をスローします） より良いライブラリはありますか？

299 python  url  encoding  urllib  urlencode 

次のエラーが発生します。 Exception in thread Thread-3: Traceback (most recent call last): File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/threading.py", line 810, in __bootstrap_inner self.run() File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/threading.py", line 763, in run self.__target(*self.__args, **self.__kwargs) File "/Users/Matthew/Desktop/Skypebot 2.0/bot.py", line 271, in process info = urllib2.urlopen(req).read() File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 154, in urlopen return opener.open(url, data, timeout) File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 431, in …

279 python  python-2.7  ssl  ssl-certificate  urllib 

私はこのスクリプトをオンラインで見つけました： import httplib, urllib params = urllib.urlencode({'number': 12524, 'type': 'issue', 'action': 'show'}) headers = {"Content-type": "application/x-www-form-urlencoded", "Accept": "text/plain"} conn = httplib.HTTPConnection("bugs.python.org") conn.request("POST", "", params, headers) response = conn.getresponse() print response.status, response.reason 302 Found data = response.read() data 'Redirecting to <a href="http://bugs.python.org/issue12524">http://bugs.python.org/issue12524</a>' conn.close() しかし、PHPでの使用方法、params変数内のすべての内容、または使用方法がわかりません。これを機能させるために少し助けてもらえますか？

260 python  urllib  httplib 

Webサイトをスクレイピングしようとしていますが、エラーが発生します。 次のコードを使用しています。 import urllib.request from bs4 import BeautifulSoup get = urllib.request.urlopen("https://www.website.com/") html = get.read() soup = BeautifulSoup(html) print(soup) そして、私は次のエラーを受け取ります： File "C:\Python34\lib\encodings\cp1252.py", line 19, in encode return codecs.charmap_encode(input,self.errors,encoding_table)[0] UnicodeEncodeError: 'charmap' codec can't encode characters in position 70924-70950: character maps to <undefined> これを修正するにはどうすればよいですか？

205 python  beautifulsoup  urllib 

だから私はウェブコミックをダウンロードして自分のデスクトップのフォルダに置くPythonスクリプトを作ろうとしています。私はここでいくつかの同様のプログラムを見つけましたが、同じようなことをしますが、私が必要としているものとはまったく似ていません。私が最も類似していると思うものはここにあります（http://bytes.com/topic/python/answers/850927-problem-using-urllib-download-images）。私はこのコードを使ってみました： >>> import urllib >>> image = urllib.URLopener() >>> image.retrieve("http://www.gunnerkrigg.com//comics/00000001.jpg","00000001.jpg") ('00000001.jpg', <httplib.HTTPMessage instance at 0x1457a80>) 次に、コンピュータでファイル "00000001.jpg"を検索しましたが、見つかったのはそのキャッシュされた画像だけでした。ファイルが自分のコンピューターに保存されたかどうかさえわかりません。ファイルをダウンロードする方法を理解したら、残りのファイルの処理方法がわかったと思います。基本的には、forループを使用して、文字列を '00000000'。 'jpg'で分割し、 '00000000'を最大数までインクリメントします。これを行うための最良の方法またはファイルを正しくダウンロードする方法に関する推奨事項はありますか？ ありがとう！ 編集6/15/10 これが完成したスクリプトです。選択した任意のディレクトリにファイルを保存します。奇妙な理由で、ファイルはダウンロードされず、ダウンロードされました。それをクリーンアップする方法についての提案は大歓迎です。いくつかの例外が発生した後にプログラムを終了させるのではなく、サイトに多くのコミックが存在することを確認して、最新のコミックのみを取得する方法を現在検討しています。 import urllib import os comicCounter=len(os.listdir('/file'))+1 # reads the number of files in the folder to start downloading at the next comic errorCount=0 def download_comic(url,comicName): """ download a …

183 python  urllib2  urllib 

Pythonを使用してWebサイトのHTMLソースコードをダウンロードしようとしていますが、このエラーが発生します。 Traceback (most recent call last): File "C:\Users\Sergio.Tapia\Documents\NetBeansProjects\DICParser\src\WebDownload.py", line 3, in <module> file = urllib.urlopen("http://www.python.org") AttributeError: 'module' object has no attribute 'urlopen' 私はここでガイドに従っています：http : //www.boddie.org.uk/python/HTML.html import urllib file = urllib.urlopen("http://www.python.org") s = file.read() f.close() #I'm guessing this would output the html source code? print(s) 私はPython 3を使用しています。

146 python  python-3.x  urllib 

urllibを使用してヘッダーのコードを取得するにはどうすればよいですか？

120 python  urllib  http-status-codes 

を使用した後cgi.parse_qs()、結果（辞書）をクエリ文字列に変換する方法は？に似たものを探してい urllib.urlencode()ます。

112 python  urllib2  urllib 

使用したいurllib.quote()です。しかし、python（python3）はモジュールを見つけていません。次のコード行があるとします。 print(urllib.quote("châteu", safe='')) urllib.quoteをインポートするにはどうすればよいですか？ import urllibまたは import urllib.quote両方が与える AttributeError: 'module' object has no attribute 'quote' どのような私を混乱することはつまりurllib.request介してアクセス可能ですimport urllib.request

109 python  python-3.x  import  urllib 

URLエンコーディングに関連するPython Wikiの例を実行しようとすると、次のようになります。 >>> import urllib >>> params = urllib.urlencode({'spam': 1, 'eggs': 2, 'bacon': 0}) >>> f = urllib.urlopen("http://www.musi-cal.com/cgi-bin/query", params) >>> print f.read() 2行目でエラーが発生します。 Traceback (most recent call last): File "<stdin>", line 1, in <module> AttributeError: 'module' object has no attribute 'urlencode' 何が欠けていますか？

108 python  python-3.x  urllib 

BeautifulSoupを使用してURLをスクレイピングしており、次のコードがありました import urllib import urllib2 from BeautifulSoup import BeautifulSoup url = "http://www.example.com/servlet/av/ResultTemplate=AVResult.html" req = urllib2.Request(url) response = urllib2.urlopen(req) the_page = response.read() soup = BeautifulSoup(the_page) soup.findAll('td',attrs={'class':'empformbody'}) 上記のコードではfindAll、タグとそれに関連する情報を取得するために使用できますが、xpathを使用したいと思います。BeautifulSoupでxpathを使用することは可能ですか？可能であれば、より役立つように、コードの例を誰かに教えてもらえますか？

105 python  xpath  beautifulsoup  urllib 

Pythonを使用して、過去の株価データのダウンロードを自動化しようとしています。開こうとしているURLはCSVファイルで応答しますが、urllib2を使用して開くことができません。私は以前にいくつかの質問で指定されているようにユーザーエージェントを変更しようとしましたが、うまくいかずに応答Cookieを受け入れようとしました。手伝ってくれませんか。 注：同じ方法がyahoo Financeでも機能します。 コード： import urllib2,cookielib site= "http://www.nseindia.com/live_market/dynaContent/live_watch/get_quote/getHistoricalData.jsp?symbol=JPASSOCIAT&fromDate=1-JAN-2012&toDate=1-AUG-2012&datePeriod=unselected&hiddDwnld=true" hdr = {'User-Agent':'Mozilla/5.0'} req = urllib2.Request(site,headers=hdr) page = urllib2.urlopen(req) エラー ファイル「C：\ Python27 \ lib \ urllib2.py」、527行、http_error_defaultでHTTPError（req.get_full_url（）、code、msg、hdrs、fp）を発生させるurllib2.HTTPError：HTTPエラー403：禁止 ご協力ありがとうございます

102 python  http  urllib