XMLを含むデータベースに多くの行があり、特定のノード属性のインスタンスをカウントするPythonスクリプトを記述しようとしています。

私の木は次のようになります：

<foo>
   <bar>
      <type foobar="1"/>
      <type foobar="2"/>
   </bar>
</foo>

Pythonを使用して属性"1"と"2"XML にアクセスするにはどうすればよいですか？

提案しElementTreeます。例えば同じAPIの互換性のある他の実装があるlxml、とcElementTreePythonの標準ライブラリ自体では、ただし、このコンテキストでは、主に追加されるのはさらに高速です。プログラミングの容易さは、APIによって異なりElementTreeます。

まずroot、XMLからElementインスタンスを作成します。たとえば、XML関数を使用するか、次のようにファイルを解析します。

import xml.etree.ElementTree as ET
root = ET.parse('thefile.xml').getroot()

または、に示す他の多くの方法のいずれかElementTree。次に、次のようにします。

for type_tag in root.findall('bar/type'):
    value = type_tag.get('foobar')
    print(value)

同様の、通常はかなり単純なコードパターン。

minidom 最速でかなり簡単です。

XML：

<data>
    <items>
        <item name="item1"></item>
        <item name="item2"></item>
        <item name="item3"></item>
        <item name="item4"></item>
    </items>
</data>

Python：

from xml.dom import minidom
xmldoc = minidom.parse('items.xml')
itemlist = xmldoc.getElementsByTagName('item')
print(len(itemlist))
print(itemlist[0].attributes['name'].value)
for s in itemlist:
    print(s.attributes['name'].value)

出力：

4
item1
item1
item2
item3
item4

BeautifulSoupを使用できます。

from bs4 import BeautifulSoup

x="""<foo>
   <bar>
      <type foobar="1"/>
      <type foobar="2"/>
   </bar>
</foo>"""

y=BeautifulSoup(x)
>>> y.foo.bar.type["foobar"]
u'1'

>>> y.foo.bar.findAll("type")
[<type foobar="1"></type>, <type foobar="2"></type>]

>>> y.foo.bar.findAll("type")[0]["foobar"]
u'1'
>>> y.foo.bar.findAll("type")[1]["foobar"]
u'2'

そこに多くのオプションがあります。速度とメモリ使用量が問題である場合、cElementTreeは優れたように見えます。を使用してファイルを単に読み取る場合と比較して、オーバーヘッドはほとんどありませんreadlines。

関連するメトリックは、cElementTree Webサイトからコピーした以下の表にあります。

library                         time    space
xml.dom.minidom (Python 2.1)    6.3 s   80000K
gnosis.objectify                2.0 s   22000k
xml.dom.minidom (Python 2.4)    1.4 s   53000k
ElementTree 1.2                 1.6 s   14500k  
ElementTree 1.2.4/1.3           1.1 s   14500k  
cDomlette (C extension)         0.540 s 20500k
PyRXPU (C extension)            0.175 s 10850k
libxml2 (C extension)           0.098 s 16000k
readlines (read as utf-8)       0.093 s 8850k
cElementTree (C extension)  --> 0.047 s 4900K <--
readlines (read as ascii)       0.032 s 5050k   

@jfsで指摘されているように、cElementTreePythonにバンドルされています。

• Pythonの2： from xml.etree import cElementTree as ElementTree。
• Python 3：（from xml.etree import ElementTree高速化されたCバージョンが自動的に使用されます）。

簡単にするためにxmltodictをお勧めします。

XMLを解析してOrderedDictにします。

>>> e = '<foo>
             <bar>
                 <type foobar="1"/>
                 <type foobar="2"/>
             </bar>
        </foo> '

>>> import xmltodict
>>> result = xmltodict.parse(e)
>>> result

OrderedDict([(u'foo', OrderedDict([(u'bar', OrderedDict([(u'type', [OrderedDict([(u'@foobar', u'1')]), OrderedDict([(u'@foobar', u'2')])])]))]))])

>>> result['foo']

OrderedDict([(u'bar', OrderedDict([(u'type', [OrderedDict([(u'@foobar', u'1')]), OrderedDict([(u'@foobar', u'2')])])]))])

>>> result['foo']['bar']

OrderedDict([(u'type', [OrderedDict([(u'@foobar', u'1')]), OrderedDict([(u'@foobar', u'2')])])])

lxml.objectifyは本当にシンプルです。

あなたのサンプルテキストを取る：

from lxml import objectify
from collections import defaultdict

count = defaultdict(int)

root = objectify.fromstring(text)

for item in root.bar.type:
    count[item.attrib.get("foobar")] += 1

print dict(count)

出力：

{'1': 1, '2': 1}

Pythonには、expat XMLパーサーへのインターフェースがあります。

xml.parsers.expat

これは非検証パーサーなので、不正なXMLは捕捉されません。しかし、ファイルが正しいことがわかっている場合は、これで十分です。おそらく、必要な正確な情報が得られ、残りをその場で破棄できます。

stringofxml = """<foo>
    <bar>
        <type arg="value" />
        <type arg="value" />
        <type arg="value" />
    </bar>
    <bar>
        <type arg="value" />
    </bar>
</foo>"""
count = 0
def start(name, attr):
    global count
    if name == 'type':
        count += 1

p = expat.ParserCreate()
p.StartElementHandler = start
p.Parse(stringofxml)

print count # prints 4

declxmlをお勧めします。

完全な開示：このライブラリを作成したのは、ElementTreeを使用して数十行の命令解析/シリアル化コードを記述する必要なく、XMLとPythonのデータ構造を変換する方法を探していたためです。

declxmlでは、プロセッサーを使用して、XML文書の構造と、XMLデータ構造とPythonデータ構造の間のマッピング方法を宣言的に定義します。プロセッサは、シリアル化と解析の両方、および検証の基本レベルに使用されます。

Pythonデータ構造への解析は簡単です。

import declxml as xml

xml_string = """
<foo>
   <bar>
      <type foobar="1"/>
      <type foobar="2"/>
   </bar>
</foo>
"""

processor = xml.dictionary('foo', [
    xml.dictionary('bar', [
        xml.array(xml.integer('type', attribute='foobar'))
    ])
])

xml.parse_from_string(processor, xml_string)

これは出力を生成します：

{'bar': {'foobar': [1, 2]}}

同じプロセッサを使用してデータをXMLにシリアル化することもできます。

data = {'bar': {
    'foobar': [7, 3, 21, 16, 11]
}}

xml.serialize_to_string(processor, data, indent='    ')

次の出力を生成します

<?xml version="1.0" ?>
<foo>
    <bar>
        <type foobar="7"/>
        <type foobar="3"/>
        <type foobar="21"/>
        <type foobar="16"/>
        <type foobar="11"/>
    </bar>
</foo>

辞書ではなくオブジェクトを操作する場合は、プロセッサを定義して、オブジェクトとの間でデータを変換することもできます。

import declxml as xml

class Bar:

    def __init__(self):
        self.foobars = []

    def __repr__(self):
        return 'Bar(foobars={})'.format(self.foobars)


xml_string = """
<foo>
   <bar>
      <type foobar="1"/>
      <type foobar="2"/>
   </bar>
</foo>
"""

processor = xml.dictionary('foo', [
    xml.user_object('bar', Bar, [
        xml.array(xml.integer('type', attribute='foobar'), alias='foobars')
    ])
])

xml.parse_from_string(processor, xml_string)

次の出力を生成します

{'bar': Bar(foobars=[1, 2])}

別の可能性を追加するために、それは単純なxml-to-python-objectライブラリーであるuntangleを使用できます。ここに例があります：

インストール：

pip install untangle

使用法：

XMLファイル（少し変更されました）：

<foo>
   <bar name="bar_name">
      <type foobar="1"/>
   </bar>
</foo>

で属性にアクセスするuntangle：

import untangle

obj = untangle.parse('/path_to_xml_file/file.xml')

print obj.foo.bar['name']
print obj.foo.bar.type['foobar']

出力は次のようになります。

bar_name
1

もつれの詳細については、「もつれ」を参照してください。

また、興味がある場合は、「PythonとXML」にXMLとPythonを操作するためのツールのリストを見つけることができます。また、最も一般的なものは以前の回答で言及されていたことがわかります。

ここでは、を使用した非常にシンプルで効果的なコードを示しcElementTreeます。

try:
    import cElementTree as ET
except ImportError:
  try:
    # Python 2.5 need to import a different module
    import xml.etree.cElementTree as ET
  except ImportError:
    exit_err("Failed to import cElementTree from any known place")      

def find_in_tree(tree, node):
    found = tree.find(node)
    if found == None:
        print "No %s in file" % node
        found = []
    return found  

# Parse a xml file (specify the path)
def_file = "xml_file_name.xml"
try:
    dom = ET.parse(open(def_file, "r"))
    root = dom.getroot()
except:
    exit_err("Unable to open and parse input definition file: " + def_file)

# Parse to find the child nodes list of node 'myNode'
fwdefs = find_in_tree(root,"myNode")

これは「python xml parse」によるものです。

XML：

<foo>
   <bar>
      <type foobar="1"/>
      <type foobar="2"/>
   </bar>
</foo>

Pythonコード：

import xml.etree.cElementTree as ET

tree = ET.parse("foo.xml")
root = tree.getroot() 
root_tag = root.tag
print(root_tag) 

for form in root.findall("./bar/type"):
    x=(form.attrib)
    z=list(x)
    for i in z:
        print(x[i])

出力：

foo
1
2

import xml.etree.ElementTree as ET
data = '''<foo>
           <bar>
               <type foobar="1"/>
               <type foobar="2"/>
          </bar>
       </foo>'''
tree = ET.fromstring(data)
lst = tree.findall('bar/type')
for item in lst:
    print item.get('foobar')

これにより、foobar属性の値が出力されます。

xml.etree.ElementTreeとlxml

これらは、最もよく使用される2つのライブラリの長所であり、選択する前に知っておくと便利です。

xml.etree.ElementTree：

1. 標準ライブラリから：モジュールをインストールする必要はありません

lxml

1. 簡単にXML宣言を記述します。たとえば、追加する必要がありますかstandalone="no"ますか？
2. きれいな印刷：追加のコードなしでインデントされた XMLを作成できます。
3. Objectify機能：通常のPythonオブジェクト階層を扱っているかのようにXMLを使用できます.node。
4. sourceline 使用しているXML要素の行を簡単に取得できます。
5. 組み込みのXSDスキーマチェッカーも使用できます。

Pythonのxml.domとxml.dom.minidomは非常に簡単です。DOMは大量のXMLには適していませんが、入力がかなり小さい場合は問題なく機能します。

ありませんlibに固有のAPIを使用する必要あなたが使用している場合はpython-benedict。XMLから新しいインスタンスを初期化し、それがdictサブクラスな。

インストールは簡単です： pip install python-benedict

from benedict import benedict as bdict

# data-source can be an url, a filepath or data-string (as in this example)
data_source = """
<foo>
   <bar>
      <type foobar="1"/>
      <type foobar="2"/>
   </bar>
</foo>"""

data = bdict.from_xml(data_source)
t_list = data['foo.bar'] # yes, keypath supported
for t in t_list:
   print(t['@foobar'])

それをサポートし、正規化 I / O操作をさまざまな形式で：Base64、CSV、JSON、TOML、XML、YAMLおよびquery-string。

GitHubで十分にテストされ、オープンソースです。

#If the xml is in the form of a string as shown below then
from lxml  import etree, objectify
'''sample xml as a string with a name space {http://xmlns.abc.com}'''
message =b'<?xml version="1.0" encoding="UTF-8"?>\r\n<pa:Process xmlns:pa="http://xmlns.abc.com">\r\n\t<pa:firsttag>SAMPLE</pa:firsttag></pa:Process>\r\n'  # this is a sample xml which is a string


print('************message coversion and parsing starts*************')

message=message.decode('utf-8') 
message=message.replace('<?xml version="1.0" encoding="UTF-8"?>\r\n','') #replace is used to remove unwanted strings from the 'message'
message=message.replace('pa:Process>\r\n','pa:Process>')
print (message)

print ('******Parsing starts*************')
parser = etree.XMLParser(remove_blank_text=True) #the name space is removed here
root = etree.fromstring(message, parser) #parsing of xml happens here
print ('******Parsing completed************')


dict={}
for child in root: # parsed xml is iterated using a for loop and values are stored in a dictionary
    print(child.tag,child.text)
    print('****Derving from xml tree*****')
    if child.tag =="{http://xmlns.abc.com}firsttag":
        dict["FIRST_TAG"]=child.text
        print(dict)


### output
'''************message coversion and parsing starts*************
<pa:Process xmlns:pa="http://xmlns.abc.com">

    <pa:firsttag>SAMPLE</pa:firsttag></pa:Process>
******Parsing starts*************
******Parsing completed************
{http://xmlns.abc.com}firsttag SAMPLE
****Derving from xml tree*****
{'FIRST_TAG': 'SAMPLE'}'''

ソースがxmlファイルの場合、次のサンプルのように言います

<pa:Process xmlns:pa="http://sssss">
        <pa:firsttag>SAMPLE</pa:firsttag>
    </pa:Process>

次のコードを試すことができます

from lxml import etree, objectify
metadata = 'C:\\Users\\PROCS.xml' # this is sample xml file the contents are shown above
parser = etree.XMLParser(remove_blank_text=True) # this line removes the  name space from the xml in this sample the name space is --> http://sssss
tree = etree.parse(metadata, parser) # this line parses the xml file which is PROCS.xml
root = tree.getroot() # we get the root of xml which is process and iterate using a for loop
for elem in root.getiterator():
    if not hasattr(elem.tag, 'find'): continue  # (1)
    i = elem.tag.find('}')
    if i >= 0:
        elem.tag = elem.tag[i+1:]

dict={}  # a python dictionary is declared
for elem in tree.iter(): #iterating through the xml tree using a for loop
    if elem.tag =="firsttag": # if the tag name matches the name that is equated then the text in the tag is stored into the dictionary
        dict["FIRST_TAG"]=str(elem.text)
        print(dict)

出力は

{'FIRST_TAG': 'SAMPLE'}