タグ付けされた質問 「python-requests」

私は、requestsパッケージと、JSON応答を処理する快適な方法が非常に気に入っています。 残念ながら、XML応答も処理できるかどうかわかりませんでした。requestsパッケージでXML応答を処理する方法を経験した人はいますか？XMLデコード用に別のパッケージを含める必要がありますか？

114 python  xml  httprequest  python-requests 

以前httplib、モジュールを使用してリクエストにヘッダーを追加しました。今、私はrequestsモジュールで同じことを試しています。 これは私が使用しているpythonリクエストモジュールです：http : //pypi.python.org/pypi/requests どのようにしてヘッダーをに追加し、ヘッダー内の各リクエストにキーを追加する必要があるrequest.postとrequest.get言いますか？foobar

108 python  http-headers  python-requests 

Pythonのリクエストモジュールを使用してWebサイトにログインするリクエストを投稿しようとしていますが、実際には機能しません。私はこれに慣れていないので、自分のユーザー名とパスワードのCookieを作成する必要があるのか​​、または特定の種類のHTTP承認を作成する必要があるのか​​わかりません（??）。 from pyquery import PyQuery import requests url = 'http://www.locationary.com/home/index2.jsp' だから今、私は「投稿」とクッキーを使うことになっていると思います... ck = {'inUserName': 'USERNAME/EMAIL', 'inUserPass': 'PASSWORD'} r = requests.post(url, cookies=ck) content = r.text q = PyQuery(content) title = q("title").text() print title クッキーを間違えているような気がします...わかりません。 正しくログインできない場合は、ホームページのタイトルが「Locationary.com」に表示され、表示される場合は「ホームページ」になります。 リクエストとCookieについていくつか説明していただければ助かります。：D ありがとう。 ...まだ実際には機能していません。さて...ログインする前のHTMLのホームページの内容は次のとおりです。 </td><td><img src="http://www.locationary.com/img/LocationaryImgs/icons/txt_email.gif"> </td> <td><input class="Data_Entry_Field_Login" type="text" name="inUserName" id="inUserName" size="25"></td> <td><img src="http://www.locationary.com/img/LocationaryImgs/icons/txt_password.gif"> </td> <td><input …

95 python  python-requests  pyquery 

私はpython リクエストを使用しています。いくつかのOAuthアクティビティをデバッグする必要があります。そのために、実行中のすべてのリクエストをログに記録します。私はこの情報をngrepで取得できましたが、残念ながらhttps接続をgrepすることはできません（これはに必要ですOAuth） RequestsアクセスしているすべてのURL（+パラメータ）のロギングをアクティブにするにはどうすればよいですか？

95 python  logging  python-requests 

私はPythonリクエストのドキュメントを調べてきましたが、達成しようとしている機能を確認できません。 私のスクリプトでは、設定していますallow_redirects=True。 ページが別のURLにリダイレクトされているかどうかを知りたい。 たとえば、開始URLが次の場合： www.google.com/redirect そして最終的なURLは www.google.co.uk/redirected どうすればそのURLを取得できますか？

95 python  http  redirect  python-requests 

リクエストURIとトークンがあります。私が使用する場合： curl -s "<MY_URI>" -H "Authorization: TOK:<MY_TOKEN>" など、200を取得し、対応するJSONデータを表示します。そのため、リクエストをインストールしました。このリソースにアクセスしようとすると、おそらくそのトークンを渡すための正しい構文がわからないために403が表示されます。誰かが私がそれを理解するのを手伝ってくれる？これは私が持っているものです： import sys,socket import requests r = requests.get('<MY_URI>','<MY_TOKEN>') r. status_code 私はすでに試しました： r = requests.get('<MY_URI>',auth=('<MY_TOKEN>')) r = requests.get('<MY_URI>',auth=('TOK','<MY_TOKEN>')) r = requests.get('<MY_URI>',headers=('Authorization: TOK:<MY_TOKEN>')) しかし、これらはどれも機能しません。

95 python  get  authorization  token  python-requests 

Requestsライブラリを使用して、ポストリクエストでCookieを送信しようとしていますが、ドキュメントに基づいて実際にCookieを設定する方法がわかりません。スクリプトはWikipediaで使用するためのものであり、送信する必要があるCookieは次の形式です。 enwiki_session=17ab96bd8ffbe8ca58a78657a918558e; path=/; domain=.wikipedia.com; HttpOnly ただし、requestsドキュメントのクイックスタートでは、これを唯一の例として示しています。 cookies = dict(cookies_are='working') このライブラリを使用して、上記のようなCookieをどのようにエンコードできますか？Pythonの標準Cookieライブラリで作成し、POSTリクエストと共に送信する必要がありますか？

94 python  cookies  http-request  python-requests 

私のスクリプトでrequests.getは、決して返しません： import requests print ("requesting..") # This call never returns! r = requests.get( "http://www.some-site.com", proxies = {'http': '222.255.169.74:8080'}, ) print(r.ok) 考えられる理由は何ですか？何か治療法は？get使用するデフォルトのタイムアウトは何ですか？

92 python  get  python-requests 

Pycharmを介してPython3Windowsでリクエストを使用し、SSLモジュールが利用できないというエラーを受信する 私はこれを引き起こしている可能性があるものを理解しようと何時間も費やしました。Anacondaを再インストールしましたが、完全にスタックしています。以下を実行する場合 def Earlybird(daycount): url = 'https://msft.com' response = requests.get(url) print(response) Earlybird() エラーが発生します requests.exceptions.SSLError: HTTPSConnectionPool(host='msft.com', port=443): Max retries exceeded with url: / (Caused by SSLError("Can't connect to HTTPS URL because the SSL module is not available.")) 何が原因なのかわかりません。Anacondaは最近のインストールであるため、すべてが最新であると思います。したがって、これが間違ったSSLを指しているかどうかはわかりません。私はPythonに少し慣れていないので、もうしばらくお待ちください。-

89 python  ssl  https  python-requests  pycharm 

import requests data = {'foo':'bar'} url = 'https://foo.com/bar' r = requests.post(url, data=data) URLが自己署名証明書を使用している場合、これは次のように失敗します。 requests.exceptions.SSLError: [Errno 1] _ssl.c:507: error:14090086:SSL routines:SSL3_GET_SERVER_CERTIFICATE:certificate verify failed 次のようFalseに、verifyパラメーターに渡すことができることを知っています。 r = requests.post(url, data=data, verify=False) ただし、私がやりたいのは、ディスク上の公開鍵のコピーへの要求をポイントし、その証明書を信頼するように指示することです。

88 python  ssl  python-requests 

WebサイトからPDFファイルをダウンロードしてディスクに保存しようとしています。私の試みはエンコードエラーで失敗するか、PDFが空白になります。 In [1]: import requests In [2]: url = 'http://www.hrecos.org//images/Data/forweb/HRTVBSH.Metadata.pdf' In [3]: response = requests.get(url) In [4]: with open('/tmp/metadata.pdf', 'wb') as f: ...: f.write(response.text) --------------------------------------------------------------------------- UnicodeEncodeError Traceback (most recent call last) <ipython-input-4-4be915a4f032> in <module>() 1 with open('/tmp/metadata.pdf', 'wb') as f: ----> 2 f.write(response.text) 3 UnicodeEncodeError: 'ascii' codec can't encode characters …

87 python  python-2.7  python-requests 

PythonスクリプトですばらしいRequestsライブラリを使用しています。 import requests r = requests.get("some-site.com") print r.text ソックスプロキシを使用したいのですが。ただし、Requestsは現在HTTPプロキシのみをサポートしています。 どうやってやるの？

83 python  proxy  socks  python-requests 

私はpython 3で単純なWebスクレイパーに取り組んでいますが、getまたはpostリクエストを送信すると、応答は403です。python2では正常に動作します。両方のバージョンで同じバージョンのリクエストライブラリを使用しています。私も試しましたVerify=False/Trueが、両方のバージョンの違いは残っています。 リクエスト= 2.22.0 certifi = 2019.9.11 from requests import get url = 'https://www.gamestop.com/' header = { 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8', 'Accept-Encoding': 'gzip, deflate, br', 'Accept-Language': 'en-US,en;q=0.5', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:56.0) Gecko/20100101 Firefox/56.0', 'DNT': '1', 'Upgrade-Insecure-Requests': '1', 'Connection': 'keep-alive', 'Host': 'www.gamestop.com' } res = get(url, headers=header, verify=False).status_code print(res) # …

19 python  python-3.x  python-2.7  python-requests 

Pythonリクエストライブラリを使用してAPI POSTリクエストを作成しようとしています。Authorizationヘッダーを通過していますが、デバッグしようとすると、ヘッダーが削除されていることがわかります。何が起こっているのか分かりません。 これが私のコードです： access_token = get_access_token() bearer_token = base64.b64encode(bytes("'Bearer {}'".format(access_token)), 'utf-8') headers = {'Content-Type': 'application/json', 'Authorization': bearer_token} data = '{"FirstName" : "Jane", "LastName" : "Smith"}' response = requests.post('https://myserver.com/endpoint', headers=headers, data=data) 上記のようAuthorizationに、リクエストの引数に手動でヘッダーを設定しましたが、実際のリクエストのヘッダーがありません： {'Connection': 'keep-alive', 'Content-Type': 'application/json', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'User-Agent': 'python-requests/2.4.3 CPython/2.7.9 Linux/4.1.19-v7+'}。 追加情報として、POSTリクエストをGETリクエストに変更すると、Authorizationヘッダーは正常に通過します。 このライブラリがPOSTリクエストのヘッダーをドロップするのはなぜですか？これを機能させるにはどうすればよいですか？ リクエストライブラリのv2.4.3とPython 2.7.9を使用する

9 python  http  python-requests  http-headers  authorization-header 

私はウェブページから2つのフィールドを解析するためにpythonでスクリプトを作成しました- total revenueそしてそれは心配dateです。私が求めているフィールドはJavaScriptで暗号化されています。それらは、json配列内のページソースで使用できます。次のスクリプトは、これらの2つのフィールドを適宜解析できます。 ただし、問題は、そのページに表示される日付がページソースで使用可能な日付と異なることです。 ウェブページのリンク そのWebページの日付は次のようである。この ページのソースの日付は次のようである。この 明らかに1日の変動があります。 このタブをクリックすると、そのWebページにアクセスした後Quarterly、そこに結果が表示されます。 私は試しました： import re import json import requests url = 'https://finance.yahoo.com/quote/GTX/financials?p=GTX' res = requests.get(url) data = re.findall(r'root.App.main[^{]+(.*);',res.text)[0] jsoncontent = json.loads(data) container = jsoncontent['context']['dispatcher']['stores']['QuoteSummaryStore']['incomeStatementHistoryQuarterly']['incomeStatementHistory'] total_revenue = container[0]['totalRevenue']['raw'] concerning_date = container[0]['endDate']['fmt'] print(total_revenue,concerning_date) 私が得た結果（100万の収益）： 802000000 2019-06-30 私が得たい結果： 802000000 2019-06-29 このティッカーを試してみるとAAPL、正確な日付が取得されるため、サブトレースまたは日を追加することはできません。 そのサイトから正確な日付を取得するにはどうすればよいですか？ ところで、私はセレンを使用してそれらを取得する方法を知っているので、に固執したいと思いrequestsます。

8 python  json  python-3.x  web-scraping  python-requests