JSONオブジェクトにバイトを受け入れさせるか、出力文字列をurlopenさせます

Python 3では、URLからjsonドキュメントを要求しています。

response = urllib.request.urlopen(request)

responseオブジェクトが持つファイルライクオブジェクトreadとreadlineメソッド。通常、JSONオブジェクトは、ファイルをテキストモードで開いて作成できます。

obj = json.load(fp)

私がしたいのは：

obj = json.load(response)

ただし、urlopenはバイナリモードでファイルオブジェクトを返すため、これは機能しません。

回避策はもちろんです。

str_response = response.read().decode('utf-8')
obj = json.loads(str_response)

しかし、これは気分が悪い...

バイトファイルオブジェクトを文字列ファイルオブジェクトに変換できるより良い方法はありますか？または、いずれかのパラメータurlopenまたはjson.loadエンコーディングを指定するためのパラメータが不足していますか？

HTTPはバイトを送信します。問題のリソースがテキストである場合、文字エンコードは通常、Content-Type HTTPヘッダーまたは別のメカニズム（RFC、HTML meta http-equivなど）によって指定されます。

urllib バイトを文字列にエンコードする方法を知っている必要がありますが、それはあまりにもナイーブです—それはひどくパワー​​不足でPythonでないライブラリです。

Dive Into Python 3では、状況の概要を説明しています。

「回避策」は問題ありません。間違っていると感じますが、それは正しい方法です。

Pythonのすばらしい標準ライブラリが救いに…

import codecs

reader = codecs.getreader("utf-8")
obj = json.load(reader(response))

py2とpy3の両方で動作します。

ドキュメント：Python 2、Python3

私は質問が最良の答えであると考えました:)

import json
from urllib.request import urlopen

response = urlopen("site.com/api/foo/bar").read().decode('utf8')
obj = json.loads(response)

requestsライブラリを使用してこれを解決しようとしている他の人のために：

import json
import requests

r = requests.get('http://localhost/index.json')
r.raise_for_status()
# works for Python2 and Python3
json.loads(r.content.decode('utf-8'))

これは私のために働きます、私は人間のためのリクエストでjson()ドキュメントをチェックアウトする「リクエスト」ライブラリを使用しました

import requests

url = 'here goes your url'

obj = requests.get(url).json() 

Python 3.4.3と3.5.2とDjango 1.11.3を使用して同様の問題に遭遇しました。しかし、Python 3.6.1にアップグレードすると、問題はなくなりました。

詳しくは、https： //docs.python.org/3/whatsnew/3.6.html#jsonをご覧ください。

特定のバージョンのPythonに縛られていない場合は、3.6以降へのアップグレードを検討してください。

フラスコのマイクロフレームワークを使用しているときにこの問題が発生した場合は、次のようにしてください。

data = json.loads(response.get_data(as_text=True))

ドキュメントから：「as_textがTrueに設定されている場合、戻り値はデコードされたUnicode文字列になります」

あなたの回避策は実際に私を救いました。Falconフレームワークを使用したリクエストの処理で多くの問題が発生していました。これでうまくいきました。リクエストはcurl pr httpieのリクエストフォームです

json.loads(req.stream.read().decode('utf-8'))

これにより、バイトデータがjsonにストリーミングされます。

import io

obj = json.load(io.TextIOWrapper(response))

io.TextIOWrapperは、コーデックのモジュールリーダーよりも優先されます。https://www.python.org/dev/peps/pep-0400/

jsonとしてHttpResponseコンテンツを作成するこの単純なメソッドを見つけました

import json

request = RequestFactory() # ignore this, this just like your request object

response = MyView.as_view()(request) # got response as HttpResponse object

response.render() # call this so we could call response.content after

json_response = json.loads(response.content.decode('utf-8'))

print(json_response) # {"your_json_key": "your json value"}

お役に立てば幸い

Python 3.6以降では、を使用json.loads()してbytesオブジェクトを直接逆シリアル化できます（エンコードはUTF-8、UTF-16、またはUTF-32である必要があります）。したがって、標準ライブラリのモジュールのみを使用して、次のことができます。

import json
from urllib import request

response = request.urlopen(url).read()
data = json.loads(response)

私は以下のプログラムを使用しました json.loads()

import urllib.request
import json
endpoint = 'https://maps.googleapis.com/maps/api/directions/json?'
api_key = 'AIzaSyABbKiwfzv9vLBR_kCuhO7w13Kseu68lr0'
origin = input('where are you ?').replace(' ','+')
destination = input('where do u want to go').replace(' ','+')
nav_request = 'origin={}&destination={}&key={}'.format(origin,destination,api_key)
request = endpoint + nav_request
response = urllib.request.urlopen(request).read().decode('utf-8')
directions = json.loads(response)
print(directions)