次のような辞書があるとします。
{'a': 1,
'c': {'a': 2,
'b': {'x': 5,
'y' : 10}},
'd': [1, 2, 3]}
それを次のように平坦化するにはどうすればよいですか?
{'a': 1,
'c_a': 2,
'c_b_x': 5,
'c_b_y': 10,
'd': [1, 2, 3]}
次のような辞書があるとします。
{'a': 1,
'c': {'a': 2,
'b': {'x': 5,
'y' : 10}},
'd': [1, 2, 3]}
それを次のように平坦化するにはどうすればよいですか?
{'a': 1,
'c_a': 2,
'c_b_x': 5,
'c_b_y': 10,
'd': [1, 2, 3]}
回答:
基本的に、ネストされたリストをフラット化するのと同じ方法で、キー/値でdictを反復し、新しいディクショナリの新しいキーを作成し、最後のステップでディクショナリを作成するための追加の作業を行う必要があります。
import collections
def flatten(d, parent_key='', sep='_'):
items = []
for k, v in d.items():
new_key = parent_key + sep + k if parent_key else k
if isinstance(v, collections.MutableMapping):
items.extend(flatten(v, new_key, sep=sep).items())
else:
items.append((new_key, v))
return dict(items)
>>> flatten({'a': 1, 'c': {'a': 2, 'b': {'x': 5, 'y' : 10}}, 'd': [1, 2, 3]})
{'a': 1, 'c_a': 2, 'c_b_x': 5, 'd': [1, 2, 3], 'c_b_y': 10}
isinstance
とtry..except
、これがから派生していない場合でも、すべてのマッピングで機能しdict
ます。
collections.MutableMapping
より汎用的にするためにテストするように変更しました。ただし、Python <2.6の場合try..except
は、おそらく最良のオプションです。
if isinstance(v, collections.MutableMapping):
にif v and isinstance(v, collections.MutableMapping):
new_key = parent_key + sep + k if parent_key else k
キーは常に文字列であると想定していることに注意してくださいTypeError: cannot concatenate 'str' and [other] objects
。そうでない場合はが発生します。ただし、単純k
に文字列(str(k)
)に強制するか、キーを文字列ではなくタプルに連結することで修正できます(タプルはdictキーでもかまいません)。
元の投稿者が考慮する必要がある2つの大きな考慮事項があります。
{'a_b':{'c':1}, 'a':{'b_c':2}}
結果はになり{'a_b_c':???}
ます。以下のソリューションは、反復可能なペアのペアを返すことで問題を回避しています。joinedKey = '_'.join(*keys)
、O(N ^ 2)の実行時間がかかります。ただし、と言っても構わない場合はnextKey = previousKey+'_'+thisKey
、O(N)時間になります。以下のソリューションでは、両方を実行できます(すべてのキーを連結してから、後処理することができるため)。(パフォーマンスはおそらく問題ではないですが、私はケースの他の誰心配に第二の点について詳しく説明します:これを実装するには、数多くの危険な選択肢があり、あなたがこれを行う場合は、再帰的に、歩留まりと再収量、または。何も触れ同等(誤って行うには非常に簡単です)回以上のノードが、あなたは潜在的にではなくO(N)よりもO(N ^ 2)の作業を行っている。多分あなたは鍵を計算しているので、これはa
、その後a_1
、その後a_1_i
...、その後の計算しますa
そしてa_1
、その後a_1_ii
...、しかし本当にあなたは計算する必要はありませんa_1
再び。あなたはそれを再計算されていない場合でも、それ(「レベルごと」アプローチ)に再生じることがちょうど悪いようです。良い例がありますのパフォーマンスについて考える{1:{1:{1:{1:...(N times)...{1:SOME_LARGE_DICTIONARY_OF_SIZE_N}...}}}}
)
以下は、私が書いた関数でflattenDict(d, join=..., lift=...)
、多くの目的に適合でき、必要なことを実行できます。悲しいことに、上記のパフォーマンスの低下を招くことなく、この関数の遅延バージョンを作成することはかなり困難です(chain.from_iterableのような多くのpython組み込み関数は実際には効率的ではありません。これです)。
from collections import Mapping
from itertools import chain
from operator import add
_FLAG_FIRST = object()
def flattenDict(d, join=add, lift=lambda x:x):
results = []
def visit(subdict, results, partialKey):
for k,v in subdict.items():
newKey = lift(k) if partialKey==_FLAG_FIRST else join(partialKey,lift(k))
if isinstance(v,Mapping):
visit(v, results, newKey)
else:
results.append((newKey,v))
visit(d, results, _FLAG_FIRST)
return results
何が起こっているかをよりよく理解するために、以下はreduce
(左)に不慣れな人のための図であり、「左折」とも呼ばれています。k0の代わりに初期値を使用して描画される場合があります(リストの一部ではなく、関数に渡されます)。これJ
が私たちのjoin
機能です。各k nをで前処理しlift(k)
ます。
[k0,k1,...,kN].foldleft(J)
/ \
... kN
/
J(k0,J(k1,J(k2,k3)))
/ \
/ \
J(J(k0,k1),k2) k3
/ \
/ \
J(k0,k1) k2
/ \
/ \
k0 k1
これは実際にはと同じですfunctools.reduce
が、関数がツリーのすべてのキーパスに対してこれを実行します。
>>> reduce(lambda a,b:(a,b), range(5))
((((0, 1), 2), 3), 4)
デモ(それ以外の場合はdocstringに入れます):
>>> testData = {
'a':1,
'b':2,
'c':{
'aa':11,
'bb':22,
'cc':{
'aaa':111
}
}
}
from pprint import pprint as pp
>>> pp(dict( flattenDict(testData, lift=lambda x:(x,)) ))
{('a',): 1,
('b',): 2,
('c', 'aa'): 11,
('c', 'bb'): 22,
('c', 'cc', 'aaa'): 111}
>>> pp(dict( flattenDict(testData, join=lambda a,b:a+'_'+b) ))
{'a': 1, 'b': 2, 'c_aa': 11, 'c_bb': 22, 'c_cc_aaa': 111}
>>> pp(dict( (v,k) for k,v in flattenDict(testData, lift=hash, join=lambda a,b:hash((a,b))) ))
{1: 12416037344,
2: 12544037731,
11: 5470935132935744593,
22: 4885734186131977315,
111: 3461911260025554326}
パフォーマンス:
from functools import reduce
def makeEvilDict(n):
return reduce(lambda acc,x:{x:acc}, [{i:0 for i in range(n)}]+range(n))
import timeit
def time(runnable):
t0 = timeit.default_timer()
_ = runnable()
t1 = timeit.default_timer()
print('took {:.2f} seconds'.format(t1-t0))
>>> pp(makeEvilDict(8))
{7: {6: {5: {4: {3: {2: {1: {0: {0: 0,
1: 0,
2: 0,
3: 0,
4: 0,
5: 0,
6: 0,
7: 0}}}}}}}}}
import sys
sys.setrecursionlimit(1000000)
forget = lambda a,b:''
>>> time(lambda: dict(flattenDict(makeEvilDict(10000), join=forget)) )
took 0.10 seconds
>>> time(lambda: dict(flattenDict(makeEvilDict(100000), join=forget)) )
[1] 12569 segmentation fault python
...ため息、1つが私のせいだとは思わない...
[節度の問題による重要でない歴史的メモ]
Pythonのリストの辞書(2レベルの深さ)の辞書Flattenの複製の疑いについて:
この質問のソリューションは、を実行することで、この問題に関して実装できますsorted( sum(flatten(...),[]) )
。逆は不可能です。高次アキュムレータをマッピングすることにより、申し立てられた重複からの値をflatten(...)
回復できることは事実ですが、キーを回復することはできません。(編集:また、所有者の重複の疑いのある質問は完全に2レベルのディクショナリーしか扱っていないという点で完全に異なりますが、そのページの回答の1つは一般的な解決策を提供します。)
または、すでにパンダを使用している場合は、次のjson_normalize()
ように実行できます。
import pandas as pd
d = {'a': 1,
'c': {'a': 2, 'b': {'x': 5, 'y' : 10}},
'd': [1, 2, 3]}
df = pd.io.json.json_normalize(d, sep='_')
print(df.to_dict(orient='records')[0])
出力:
{'a': 1, 'c_a': 2, 'c_b_x': 5, 'c_b_y': 10, 'd': [1, 2, 3]}
あなたが使用しているpandas
場合は、これを正確に実行するpandas.io.json._normalize
1と呼ばれる関数が隠されnested_to_record
ています。
from pandas.io.json._normalize import nested_to_record
flat = nested_to_record(my_dict, sep='_')
1 pandasバージョン0.24.x
およびそれ以前の使用pandas.io.json.normalize
(なし_
)
from pandas.io.json._normalize import nested_to_record
。_
前のアンダースコア()に注意してくださいnormalize
。
0.25.x
され、回答を更新しました。:)
これは、一種の「機能的な」「ワンライナー」実装です。それは再帰的であり、条件式と辞書の理解に基づいています。
def flatten_dict(dd, separator='_', prefix=''):
return { prefix + separator + k if prefix else k : v
for kk, vv in dd.items()
for k, v in flatten_dict(vv, separator, kk).items()
} if isinstance(dd, dict) else { prefix : dd }
テスト:
In [2]: flatten_dict({'abc':123, 'hgf':{'gh':432, 'yu':433}, 'gfd':902, 'xzxzxz':{"432":{'0b0b0b':231}, "43234":1321}}, '.')
Out[2]:
{'abc': 123,
'gfd': 902,
'hgf.gh': 432,
'hgf.yu': 433,
'xzxzxz.432.0b0b0b': 231,
'xzxzxz.43234': 1321}
('hgf',2)
TypeError
+
演算子をサポートする何かであると想定しています。それ以外の場合はprefix + separator + k
、適切な関数呼び出しに適応してオブジェクトを作成する必要があります。
{'a_b':{'c':1}, 'a':{'b_c':2}}
{'name': 'Steven', 'children': [{'name': 'Jessica', 'children': []}, {'name': 'George', 'children': []}]}
コード:
test = {'a': 1, 'c': {'a': 2, 'b': {'x': 5, 'y' : 10}}, 'd': [1, 2, 3]}
def parse_dict(init, lkey=''):
ret = {}
for rkey,val in init.items():
key = lkey+rkey
if isinstance(val, dict):
ret.update(parse_dict(val, key+'_'))
else:
ret[key] = val
return ret
print(parse_dict(test,''))
結果:
$ python test.py
{'a': 1, 'c_a': 2, 'c_b_x': 5, 'd': [1, 2, 3], 'c_b_y': 10}
私はpython3.2を使用しています。Pythonのバージョンに合わせて更新してください。
lkey=''
関数を呼び出すときではなく、関数定義でのデフォルト値を指定したい場合があります。これに関する他の回答を参照してください。
どの程度の機能 Python3.5でとパフォーマンスのソリューション?
from functools import reduce
def _reducer(items, key, val, pref):
if isinstance(val, dict):
return {**items, **flatten(val, pref + key)}
else:
return {**items, pref + key: val}
def flatten(d, pref=''):
return(reduce(
lambda new_d, kv: _reducer(new_d, *kv, pref),
d.items(),
{}
))
これはさらに高性能です:
def flatten(d, pref=''):
return(reduce(
lambda new_d, kv: \
isinstance(kv[1], dict) and \
{**new_d, **flatten(kv[1], pref + kv[0])} or \
{**new_d, pref + kv[0]: kv[1]},
d.items(),
{}
))
使用中で:
my_obj = {'a': 1, 'c': {'a': 2, 'b': {'x': 5, 'y': 10}}, 'd': [1, 2, 3]}
print(flatten(my_obj))
# {'d': [1, 2, 3], 'cby': 10, 'cbx': 5, 'ca': 2, 'a': 1}
reduce
、辞書を減らす必要がある場合に最適です。答えを更新しました。もう少しpythonicに見えるはずです。
これは辞書に限定されず、.items()を実装するすべてのマッピングタイプです。if条件を回避するため、さらに高速です。それにもかかわらず、クレジットはイムランに送られます:
def flatten(d, parent_key=''):
items = []
for k, v in d.items():
try:
items.extend(flatten(v, '%s%s_' % (parent_key, k)).items())
except AttributeError:
items.append(('%s%s' % (parent_key, k), v))
return dict(items)
d
ではありませんdict
実装されていませんが、カスタムマッピングの種類items
、あなたの関数を右クリックし、そこに失敗していました。そのため、すべてのマッピングタイプでは機能せず、を実装するマッピングタイプでのみ機能しますitems()
。
items
か?私はそれを見てみたいです。
ジェネレーターを使用した私のPython 3.3ソリューション:
def flattenit(pyobj, keystring=''):
if type(pyobj) is dict:
if (type(pyobj) is dict):
keystring = keystring + "_" if keystring else keystring
for k in pyobj:
yield from flattenit(pyobj[k], keystring + k)
elif (type(pyobj) is list):
for lelm in pyobj:
yield from flatten(lelm, keystring)
else:
yield keystring, pyobj
my_obj = {'a': 1, 'c': {'a': 2, 'b': {'x': 5, 'y': 10}}, 'd': [1, 2, 3]}
#your flattened dictionary object
flattened={k:v for k,v in flattenit(my_obj)}
print(flattened)
# result: {'c_b_y': 10, 'd': [1, 2, 3], 'c_a': 2, 'a': 1, 'c_b_x': 5}
ネストされた辞書をフラット化する単純な関数。Python 3の場合は.iteritems()
、.items()
def flatten_dict(init_dict):
res_dict = {}
if type(init_dict) is not dict:
return res_dict
for k, v in init_dict.iteritems():
if type(v) == dict:
res_dict.update(flatten_dict(v))
else:
res_dict[k] = v
return res_dict
アイデア/要件は、親キーを保持せずにフラットな辞書を取得することでした。
使用例:
dd = {'a': 3,
'b': {'c': 4, 'd': 5},
'e': {'f':
{'g': 1, 'h': 2}
},
'i': 9,
}
flatten_dict(dd)
>> {'a': 3, 'c': 4, 'd': 5, 'g': 1, 'h': 2, 'i': 9}
親キーを保持するのも簡単です。
再帰を利用して、シンプルで人間が読めるようにします。
def flatten_dict(dictionary, accumulator=None, parent_key=None, separator="."):
if accumulator is None:
accumulator = {}
for k, v in dictionary.items():
k = f"{parent_key}{separator}{k}" if parent_key else k
if isinstance(v, dict):
flatten_dict(dictionary=v, accumulator=accumulator, parent_key=k)
continue
accumulator[k] = v
return accumulator
呼び出しは簡単です:
new_dict = flatten_dict(dictionary)
または
new_dict = flatten_dict(dictionary, separator="_")
デフォルトのセパレータを変更したい場合。
少し内訳:
関数が最初に呼び出されると、dictionary
フラット化するを渡すだけで呼び出されます。accumulator
パラメータは、私たちが後で見るサポート再帰にここにあります。したがって、accumulator
空のディクショナリにインスタンス化して、元のからのすべてのネストされた値を配置しdictionary
ます。
if accumulator is None:
accumulator = {}
ディクショナリの値を繰り返し処理しながら、すべての値のキーを作成します。parent_key
引数は次のようになりますNone
、我々はそのキーを付加して、すべてのネストされた辞書のために、それは、それを指しているキーが含まれていますが、最初の呼び出しのために。
k = f"{parent_key}{separator}{k}" if parent_key else k
場合の値v
キーをk
指している辞書であり、関数は、ネストされた辞書を渡し、自分自身を呼び出すaccumulator
(これに行ったすべての変更は、同じインスタンス上で実行されるように、参照によって渡される)とキーk
ので、その連結キーを作成できます。continue
ステートメントに注意してください。if
ブロックの外側の次の行をスキップして、ネストされたディクショナリがaccumulator
under keyにならないようにしますk
。
if isinstance(v, dict):
flatten_dict(dict=v, accumulator=accumulator, parent_key=k)
continue
それでは、値v
が辞書でない場合はどうしますか?変更せずにに入れaccumulator
ます。
accumulator[k] = v
完了したら、を返すだけでaccumulator
、元のdictionary
引数はそのままです。
注意
これは、キーとして文字列を持つ辞書でのみ機能します。__repr__
メソッドを実装するハッシュ可能なオブジェクトで動作しますが、望ましくない結果が生じます。
これは、imranとraluの両方の回答に似ています。ジェネレーターは使用しませんが、代わりにクロージャー付きの再帰を使用します。
def flatten_dict(d, separator='_'):
final = {}
def _flatten_dict(obj, parent_keys=[]):
for k, v in obj.iteritems():
if isinstance(v, dict):
_flatten_dict(v, parent_keys + [k])
else:
key = separator.join(parent_keys + [k])
final[key] = v
_flatten_dict(d)
return final
>>> print flatten_dict({'a': 1, 'c': {'a': 2, 'b': {'x': 5, 'y' : 10}}, 'd': [1, 2, 3]})
{'a': 1, 'c_a': 2, 'c_b_x': 5, 'd': [1, 2, 3], 'c_b_y': 10}
_flatten_dict
が返されることも、返されることもないからです。代わりに、サブ関数または囲まれた関数と呼ぶことができます。
Davoudのソリューションは非常に優れていますが、ネストされたdictにdictsのリストが含まれている場合は満足のいく結果が得られませんが、彼のコードはその場合に適応されます。
def flatten_dict(d):
items = []
for k, v in d.items():
try:
if (type(v)==type([])):
for l in v: items.extend(flatten_dict(l).items())
else:
items.extend(flatten_dict(v).items())
except AttributeError:
items.append((k, v))
return dict(items)
type([])
すべての項目に対する関数呼び出しを回避できdict
ます。
isinstance(v, list)
代わりに使用してください
上記の答えは本当にうまくいきます。私が書いたunflatten関数を追加すると思いました。
def unflatten(d):
ud = {}
for k, v in d.items():
context = ud
for sub_key in k.split('_')[:-1]:
if sub_key not in context:
context[sub_key] = {}
context = context[sub_key]
context[k.split('_')[-1]] = v
return ud
注:これは、平坦化された対応物と同様に、キーにすでに存在する「_」を考慮していません。
エレガントなインプレース置換のアルゴリズムを次に示します。Python 2.7およびPython 3.5でテスト済み。区切り文字としてドット文字を使用します。
def flatten_json(json):
if type(json) == dict:
for k, v in list(json.items()):
if type(v) == dict:
flatten_json(v)
json.pop(k)
for k2, v2 in v.items():
json[k+"."+k2] = v2
例:
d = {'a': {'b': 'c'}}
flatten_json(d)
print(d)
unflatten_json(d)
print(d)
出力:
{'a.b': 'c'}
{'a': {'b': 'c'}}
このコードをマッチング関数とともにここに公開しましたunflatten_json
。
ネストされた辞書をフラットにし、すべての一意のキーリストが必要な場合は、次の解決策があります。
def flat_dict_return_unique_key(data, unique_keys=set()):
if isinstance(data, dict):
[unique_keys.add(i) for i in data.keys()]
for each_v in data.values():
if isinstance(each_v, dict):
flat_dict_return_unique_key(each_v, unique_keys)
return list(set(unique_keys))
def flatten(unflattened_dict, separator='_'):
flattened_dict = {}
for k, v in unflattened_dict.items():
if isinstance(v, dict):
sub_flattened_dict = flatten(v, separator)
for k2, v2 in sub_flattened_dict.items():
flattened_dict[k + separator + k2] = v2
else:
flattened_dict[k] = v
return flattened_dict
def flatten_nested_dict(_dict, _str=''):
'''
recursive function to flatten a nested dictionary json
'''
ret_dict = {}
for k, v in _dict.items():
if isinstance(v, dict):
ret_dict.update(flatten_nested_dict(v, _str = '_'.join([_str, k]).strip('_')))
elif isinstance(v, list):
for index, item in enumerate(v):
if isinstance(item, dict):
ret_dict.update(flatten_nested_dict(item, _str= '_'.join([_str, k, str(index)]).strip('_')))
else:
ret_dict['_'.join([_str, k, str(index)]).strip('_')] = item
else:
ret_dict['_'.join([_str, k]).strip('_')] = v
return ret_dict
キーを自動的にフラット化するUserDictのサブクラスを考えていました。
class FlatDict(UserDict):
def __init__(self, *args, separator='.', **kwargs):
self.separator = separator
super().__init__(*args, **kwargs)
def __setitem__(self, key, value):
if isinstance(value, dict):
for k1, v1 in FlatDict(value, separator=self.separator).items():
super().__setitem__(f"{key}{self.separator}{k1}", v1)
else:
super().__setitem__(key, value)
keysオンザフライで、または標準の辞書インスタンス化を使用して、驚きなくキーを追加できるという利点:
>>> fd = FlatDict(
... {
... 'person': {
... 'sexe': 'male',
... 'name': {
... 'first': 'jacques',
... 'last': 'dupond'
... }
... }
... }
... )
>>> fd
{'person.sexe': 'male', 'person.name.first': 'jacques', 'person.name.last': 'dupond'}
>>> fd['person'] = {'name': {'nickname': 'Bob'}}
>>> fd
{'person.sexe': 'male', 'person.name.first': 'jacques', 'person.name.last': 'dupond', 'person.name.nickname': 'Bob'}
>>> fd['person.name'] = {'civility': 'Dr'}
>>> fd
{'person.sexe': 'male', 'person.name.first': 'jacques', 'person.name.last': 'dupond', 'person.name.nickname': 'Bob', 'person.name.civility': 'Dr'}
ジェネレーターの使用:
def flat_dic_helper(prepand,d):
if len(prepand) > 0:
prepand = prepand + "_"
for k in d:
i=d[k]
if type(i).__name__=='dict':
r = flat_dic_helper(prepand+k,i)
for j in r:
yield j
else:
yield (prepand+k,i)
def flat_dic(d): return dict(flat_dic_helper("",d))
d={'a': 1, 'c': {'a': 2, 'b': {'x': 5, 'y' : 10}}, 'd': [1, 2, 3]}
print(flat_dic(d))
>> {'a': 1, 'c_a': 2, 'c_b_x': 5, 'd': [1, 2, 3], 'c_b_y': 10}
type(i).__name__=='dict'
置き換えられるtype(i) is dict
か、おそらくそれよりも優れているisinstance(d, dict)
(またはMapping
/ MutableMapping
)。
簡単なネストされたリストのような再帰でdict.popitem()を使用する:
def flatten(d):
if d == {}:
return d
else:
k,v = d.popitem()
if (dict != type(v)):
return {k:v, **flatten(d)}
else:
flat_kv = flatten(v)
for k1 in list(flat_kv.keys()):
flat_kv[k + '_' + k1] = flat_kv[k1]
del flat_kv[k1]
return {**flat_kv, **flatten(d)}
正確には、OPが求めたものではありませんが、ネストされたキーと値のjsonオブジェクトと配列、および配列内のjsonオブジェクトを持つことができる実際のネストされたJSONデータをフラット化する方法を探している多くの人々がここに来ています。JSONにはタプルが含まれていないため、タプルを気にする必要はありません。
@Imran によって投稿された回答に対する@roneoによるリストを含むコメントの実装を見つけました。
https://github.com/ScriptSmith/socialreaper/blob/master/socialreaper/tools.py#L8
import collections
def flatten(dictionary, parent_key=False, separator='.'):
"""
Turn a nested dictionary into a flattened dictionary
:param dictionary: The dictionary to flatten
:param parent_key: The string to prepend to dictionary's keys
:param separator: The string used to separate flattened keys
:return: A flattened dictionary
"""
items = []
for key, value in dictionary.items():
new_key = str(parent_key) + separator + key if parent_key else key
if isinstance(value, collections.MutableMapping):
items.extend(flatten(value, new_key, separator).items())
elif isinstance(value, list):
for k, v in enumerate(value):
items.extend(flatten({str(k): v}, new_key).items())
else:
items.append((new_key, value))
return dict(items)
試して:
flatten({'a': 1, 'c': {'a': 2, 'b': {'x': 5, 'y' : 10}}, 'd': [1, 2, 3] })
>> {'a': 1, 'c.a': 2, 'c.b.x': 5, 'c.b.y': 10, 'd.0': 1, 'd.1': 2, 'd.2': 3}
私が行う必要のある作業を実行します。これに複雑なjsonを投げると、それが平坦化されます。
https://github.com/ScriptSmithへのすべてのクレジット。
私は最近、cherrypickerと呼ばれるパッケージを実際に作成しました。これは、私が頻繁に行う必要があったため、このようなことを処理するためです。
次のコードはあなたが求めているものを正確に与えると思います:
from cherrypicker import CherryPicker
dct = {
'a': 1,
'c': {
'a': 2,
'b': {
'x': 5,
'y' : 10
}
},
'd': [1, 2, 3]
}
picker = CherryPicker(dct)
picker.flatten().get()
次の方法でパッケージをインストールできます。
pip install cherrypicker
...さらにhttps://cherrypicker.readthedocs.ioにドキュメントとガイダンスがあります。
他の方法はより高速かもしれませんが、このパッケージの優先事項はそのようなタスクを簡単にすることです。ただし、平坦化するオブジェクトのリストが大きい場合は、CherryPickerに並列処理を使用してスピードアップするように指示することもできます。
私は常にをdict
介してオブジェクトにアクセスすることを好みます.items()
。そのため、辞書を平坦化するために、次の再帰ジェネレータを使用しますflat_items(d)
。dict
もう一度やりたい場合は、次のようにラップします。flat = dict(flat_items(d))
def flat_items(d, key_separator='.'):
"""
Flattens the dictionary containing other dictionaries like here: /programming/6027558/flatten-nested-python-dictionaries-compressing-keys
>>> example = {'a': 1, 'c': {'a': 2, 'b': {'x': 5, 'y' : 10}}, 'd': [1, 2, 3]}
>>> flat = dict(flat_items(example, key_separator='_'))
>>> assert flat['c_b_y'] == 10
"""
for k, v in d.items():
if type(v) is dict:
for k1, v1 in flat_items(v, key_separator=key_separator):
yield key_separator.join((k, k1)), v1
else:
yield k, v
このFlattenネストされた辞書のバリエーションで、max_levelとカスタムレデューサーを使用してキーを圧縮します。
def flatten(d, max_level=None, reducer='tuple'):
if reducer == 'tuple':
reducer_seed = tuple()
reducer_func = lambda x, y: (*x, y)
else:
raise ValueError(f'Unknown reducer: {reducer}')
def impl(d, pref, level):
return reduce(
lambda new_d, kv:
(max_level is None or level < max_level)
and isinstance(kv[1], dict)
and {**new_d, **impl(kv[1], reducer_func(pref, kv[0]), level + 1)}
or {**new_d, reducer_func(pref, kv[0]): kv[1]},
d.items(),
{}
)
return impl(d, reducer_seed, 0)
再帰的な関数を気にしない場合は、ここに解決策があります。また、維持したい値が1つ以上ある場合に備えて、自由に除外パラメータを含めるようにしました。
コード:
def flatten_dict(dictionary, exclude = [], delimiter ='_'):
flat_dict = dict()
for key, value in dictionary.items():
if isinstance(value, dict) and key not in exclude:
flatten_value_dict = flatten_dict(value, exclude, delimiter)
for k, v in flatten_value_dict.items():
flat_dict[f"{key}{delimiter}{k}"] = v
else:
flat_dict[key] = value
return flat_dict
使用法:
d = {'a':1, 'b':[1, 2], 'c':3, 'd':{'a':4, 'b':{'a':7, 'b':8}, 'c':6}, 'e':{'a':1,'b':2}}
flat_d = flatten_dict(dictionary=d, exclude=['e'], delimiter='.')
print(flat_d)
出力:
{'a': 1, 'b': [1, 2], 'c': 3, 'd.a': 4, 'd.b.a': 7, 'd.b.b': 8, 'd.c': 6, 'e': {'a': 1, 'b': 2}}
すべてではありませんが、このページでいくつかの解決策を試しましたが、入れ子になったdictのリストを処理できませんでした。
次のような辞書について考えてみましょう。
d = {
'owner': {
'name': {'first_name': 'Steven', 'last_name': 'Smith'},
'lottery_nums': [1, 2, 3, 'four', '11', None],
'address': {},
'tuple': (1, 2, 'three'),
'tuple_with_dict': (1, 2, 'three', {'is_valid': False}),
'set': {1, 2, 3, 4, 'five'},
'children': [
{'name': {'first_name': 'Jessica',
'last_name': 'Smith', },
'children': []
},
{'name': {'first_name': 'George',
'last_name': 'Smith'},
'children': []
}
]
}
}
これが私の間に合わせの解決策です:
def flatten_dict(input_node: dict, key_: str = '', output_dict: dict = {}):
if isinstance(input_node, dict):
for key, val in input_node.items():
new_key = f"{key_}.{key}" if key_ else f"{key}"
flatten_dict(val, new_key, output_dict)
elif isinstance(input_node, list):
for idx, item in enumerate(input_node):
flatten_dict(item, f"{key_}.{idx}", output_dict)
else:
output_dict[key_] = input_node
return output_dict
生成されるもの:
{
owner.name.first_name: Steven,
owner.name.last_name: Smith,
owner.lottery_nums.0: 1,
owner.lottery_nums.1: 2,
owner.lottery_nums.2: 3,
owner.lottery_nums.3: four,
owner.lottery_nums.4: 11,
owner.lottery_nums.5: None,
owner.tuple: (1, 2, 'three'),
owner.tuple_with_dict: (1, 2, 'three', {'is_valid': False}),
owner.set: {1, 2, 3, 4, 'five'},
owner.children.0.name.first_name: Jessica,
owner.children.0.name.last_name: Smith,
owner.children.1.name.first_name: George,
owner.children.1.name.last_name: Smith,
}
その場しのぎの解決策、それは完璧ではありません。
注意:
address: {}
k / vペアなどの空の辞書を保持しません。
入れ子になったタプルの辞書をフラット化しません-pythonタプルがリストと同様に機能するという事実を使用して追加するのは簡単ですが。
を使用するだけでpython-benedict
、flatten
メソッドを含む多くの機能を提供するdictサブクラスです。pipを使用してインストールすることができます。pip install python-benedict
https://github.com/fabiocaccamo/python-benedict#flatten
from benedict import benedict
d = benedict(data)
f = d.flatten(separator='_')