beautifulsoupを使用して属性値を抽出する


110

Webページの特定の「input」タグで単一の「value」属性のコンテンツを抽出しようとしています。次のコードを使用します。

import urllib
f = urllib.urlopen("http://58.68.130.147")
s = f.read()
f.close()

from BeautifulSoup import BeautifulStoneSoup
soup = BeautifulStoneSoup(s)

inputTag = soup.findAll(attrs={"name" : "stainfo"})

output = inputTag['value']

print str(output)

TypeErrorが発生します。リストのインデックスはstrではなく整数でなければなりません

Beautifulsoupのドキュメントからでも、文字列はここでは問題にならないはずです...しかし、私は専門家ではなく、誤解しているかもしれません。

どんな提案も大歓迎です!前もって感謝します。

回答:


147

.find_all() 見つかったすべての要素のリストを返すので、

input_tag = soup.find_all(attrs={"name" : "stainfo"})

input_tagリストです(おそらく1つの要素のみを含みます)。正確に何をしたいかに応じて、どちらかを行う必要があります。

 output = input_tag[0]['value']

または、.find()1つ(最初)の見つかった要素のみを返すメソッドを使用します。

 input_tag = soup.find(attrs={"name": "stainfo"})
 output = input_tag['value']

素晴らしいもの!ありがとう。今私は非ASCII文字の長い束である出力の解析について質問がありますが、これは別の質問で尋ねます。
Barnabe 2010

3
stackoverflow.com/questions/2616659/…に従って「値」にアクセスしないでください。この場合、上記のコードは何が機能するのですか?次のようにして値にアクセスする必要があると思いましたoutput = inputTag[0].contents
Seth

@Seth-いいえ、彼はinput-tagの属性 'value'を探しているため、.contentsはタグでカプセル化されたテキストを返します(<span> I am .contents </ span>)-(ただ返信したので、上で何が起こっていたかダブルチェックに、フィギュア、他の誰かが利益を得ることができる)
ドーランAntenucci

1
素晴らしい答え。ただし、タグを値の属性として使用しない場合は、inputTag[0].get('value') 代わりにinputTag[0]['value']ポインタを使用しないようにします
両生類

訪問しているウェブサイトのホームページに直接リンクされていないリンクについてはどうですか?直接または間接的にリンクされているかどうかに関係なくすべてのリンクを取得する方法。
Rink16

26

ではPython 3.x、使用get(attr_name)するタグオブジェクトで単に使用しますfind_all

xmlData = None

with open('conf//test1.xml', 'r') as xmlFile:
    xmlData = xmlFile.read()

xmlDecoded = xmlData

xmlSoup = BeautifulSoup(xmlData, 'html.parser')

repElemList = xmlSoup.find_all('repeatingelement')

for repElem in repElemList:
    print("Processing repElem...")
    repElemID = repElem.get('id')
    repElemName = repElem.get('name')

    print("Attribute id = %s" % repElemID)
    print("Attribute name = %s" % repElemName)

conf//test1.xml次のようなXMLファイルに対して:

<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<root>
    <singleElement>
        <subElementX>XYZ</subElementX>
    </singleElement>
    <repeatingElement id="11" name="Joe"/>
    <repeatingElement id="12" name="Mary"/>
</root>

プリント:

Processing repElem...
Attribute id = 11
Attribute name = Joe
Processing repElem...
Attribute id = 12
Attribute name = Mary

これをPEP 8に準拠するように編集して、より最新の文字列フォーマット方法を使用してもよろしいですか?
AMC

結構です、それを行ってください
両生類

6

上記のソースから属性の複数の値を取得する場合はfindAll、リスト内包表記を使用して、必要なすべてを取得できます。

import urllib
f = urllib.urlopen("http://58.68.130.147")
s = f.read()
f.close()

from BeautifulSoup import BeautifulStoneSoup
soup = BeautifulStoneSoup(s)

inputTags = soup.findAll(attrs={"name" : "stainfo"})
### You may be able to do findAll("input", attrs={"name" : "stainfo"})

output = [x["stainfo"] for x in inputTags]

print output
### This will print a list of the values.

4

実際には、どのようなタグがこれらの属性を持っているかを知っていると仮定して、これを行うための時間を節約する方法を提案します。

タグxyzに「staininfo」という名前のattritubeがあるとします。

full_tag = soup.findAll("xyz")

そして、full_tagがリストであることを理解したくありません

for each_tag in full_tag:
    staininfo_attrb_value = each_tag["staininfo"]
    print staininfo_attrb_value

したがって、すべてのタグxyzのstaininfoのすべてのattrb値を取得できます


3

これを使用することもできます:

import requests
from bs4 import BeautifulSoup
import csv

url = "http://58.68.130.147/"
r = requests.get(url)
data = r.text

soup = BeautifulSoup(data, "html.parser")
get_details = soup.find_all("input", attrs={"name":"stainfo"})

for val in get_details:
    get_val = val["value"]
    print(get_val)

これは、すでにここにあったはるかに古い回答とどう違うのですか?
AMC

0

これをBeautifulsoup 4.8.1で使用して、特定の要素のすべてのクラス属性の値を取得します。

from bs4 import BeautifulSoup

html = "<td class='val1'/><td col='1'/><td class='val2' />"

bsoup = BeautifulSoup(html, 'html.parser')

for td in bsoup.find_all('td'):
    if td.has_attr('class'):
        print(td['class'][0])

属性に単一の値しかない場合でも、属性キーがリストを取得することに注意することが重要です。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.