タグ付けされた質問 「urlopen」

シンプルなWebスクレイパーを開発しようとしています。HTMLコードなしでテキストを抽出したい。実際、私はこの目標を達成しましたが、JavaScriptがロードされている一部のページでは、良い結果が得られなかったことがわかりました。 たとえば、JavaScriptコードがテキストを追加する場合、それを表示できません。 response = urllib2.urlopen(request) 追加されたテキストなしで元のテキストを取得します（JavaScriptがクライアントで実行されるため）。 だから、私はこの問題を解決するためのいくつかのアイデアを探しています。

178 python  web-scraping  python-2.x  urlopen 

Python 3では、URLからjsonドキュメントを要求しています。 response = urllib.request.urlopen(request) responseオブジェクトが持つファイルライクオブジェクトreadとreadlineメソッド。通常、JSONオブジェクトは、ファイルをテキストモードで開いて作成できます。 obj = json.load(fp) 私がしたいのは： obj = json.load(response) ただし、urlopenはバイナリモードでファイルオブジェクトを返すため、これは機能しません。 回避策はもちろんです。 str_response = response.read().decode('utf-8') obj = json.loads(str_response) しかし、これは気分が悪い... バイトファイルオブジェクトを文字列ファイルオブジェクトに変換できるより良い方法はありますか？または、いずれかのパラメータurlopenまたはjson.loadエンコーディングを指定するためのパラメータが不足していますか？

177 python  json  python-3.x  encoding  urlopen