scikit-learnディシジョンツリーからディシジョンルールを抽出する方法は?


157

意思決定ツリーの学習済みツリーから、基になる決定ルール(または「決定パス」)をテキストリストとして抽出できますか?

何かのようなもの:

if A>0.4 then if B<0.2 then if C>0.8 then class='X'

ご協力いただきありがとうございます。



この問題の答えを見つけたことがありますか?デシジョンツリールールを、リストされているとおりのSASデータステップ形式でエクスポートする必要があります。
Zelazny7 2014年

1
パッケージsklearn-porterを使用して、デシジョンツリー(ランダムフォレストとブーストされたツリー)をC、Java、JavaScriptなどにエクスポートおよびトランスパイルできます。
ダライアス

あなたは、このリンク-チェックすることができkdnuggets.com/2017/05/...
アグラワルヨーゲッシュ

回答:


139

私はこの答えがここの他の答えよりも正しいと信じています:

from sklearn.tree import _tree

def tree_to_code(tree, feature_names):
    tree_ = tree.tree_
    feature_name = [
        feature_names[i] if i != _tree.TREE_UNDEFINED else "undefined!"
        for i in tree_.feature
    ]
    print "def tree({}):".format(", ".join(feature_names))

    def recurse(node, depth):
        indent = "  " * depth
        if tree_.feature[node] != _tree.TREE_UNDEFINED:
            name = feature_name[node]
            threshold = tree_.threshold[node]
            print "{}if {} <= {}:".format(indent, name, threshold)
            recurse(tree_.children_left[node], depth + 1)
            print "{}else:  # if {} > {}".format(indent, name, threshold)
            recurse(tree_.children_right[node], depth + 1)
        else:
            print "{}return {}".format(indent, tree_.value[node])

    recurse(0, 1)

これにより、有効なPython関数が出力されます。以下は、入力を返そうとしているツリーの出力例です。0から10までの数値です。

def tree(f0):
  if f0 <= 6.0:
    if f0 <= 1.5:
      return [[ 0.]]
    else:  # if f0 > 1.5
      if f0 <= 4.5:
        if f0 <= 3.5:
          return [[ 3.]]
        else:  # if f0 > 3.5
          return [[ 4.]]
      else:  # if f0 > 4.5
        return [[ 5.]]
  else:  # if f0 > 6.0
    if f0 <= 8.5:
      if f0 <= 7.5:
        return [[ 7.]]
      else:  # if f0 > 7.5
        return [[ 8.]]
    else:  # if f0 > 8.5
      return [[ 9.]]

他の回答で私が目にするいくつかの障害は次のとおりです。

  1. tree_.threshold == -2ノードが葉であるかどうかを判断するために使用することは良い考えではありません。しきい値が-2の実際の決定ノードの場合はどうなりますか?代わりに、tree.featureまたはを確認する必要がありますtree.children_*
  2. features = [feature_names[i] for i in tree_.feature]私のバージョンのsklearnでは、行がクラッシュします。tree.tree_.featureが-2(特にリーフノードの場合)。
  3. 再帰関数に複数のifステートメントを含める必要はありません。1つだけで十分です。

1
このコードは私にとってはうまくいきます。ただし、feature_nameが500以上あるため、出力コードは人間が理解することはほとんど不可能です。興味のあるfeature_namesのみを関数に入力する方法はありますか?
user3768495 2017

1
私は以前のコメントに同意します。IIUC、関数がクラスインデックスを返すprint "{}return {}".format(indent, tree_.value[node])ように変更する必要がありprint "{}return {}".format(indent, np.argmax(tree_.value[node][0]))ます。
soupault

1
@paulkernfeldああ、そうですね。ループオーバーできると思いますがRandomForestClassifier.estimators_、見積もりの​​結果を組み合わせる方法を見つけることができませんでした。
ネイサンロイド

6
私はこれをpython 3で機能させることができませんでした。_treeビットは機能しないようで、TREE_UNDEFINEDが定義されていません。このリンクは私を助けました。エクスポートされたコードはPythonで直接実行可能ではありませんが、それは他の言語に翻訳するためにCのようなと非常に簡単です:web.archive.org/web/20171005203850/http://www.kdnuggets.com/...
ジョサイア・

1
@Josiah、(3)をprintステートメントに追加して、python3で動作するようにします。例print "bla"=>print("bla")
Nir

48

sklearnによって作成された決定木からルールを抽出するための独自の関数を作成しました。

import pandas as pd
import numpy as np
from sklearn.tree import DecisionTreeClassifier

# dummy data:
df = pd.DataFrame({'col1':[0,1,2,3],'col2':[3,4,5,6],'dv':[0,1,0,1]})

# create decision tree
dt = DecisionTreeClassifier(max_depth=5, min_samples_leaf=1)
dt.fit(df.ix[:,:2], df.dv)

この関数は、最初にノード(子配列で-1で識別される)から始まり、次に親を再帰的に見つけます。これをノードの「系統」と呼びます。途中で、if / then / else SASロジックを作成するために必要な値を取得します。

def get_lineage(tree, feature_names):
     left      = tree.tree_.children_left
     right     = tree.tree_.children_right
     threshold = tree.tree_.threshold
     features  = [feature_names[i] for i in tree.tree_.feature]

     # get ids of child nodes
     idx = np.argwhere(left == -1)[:,0]     

     def recurse(left, right, child, lineage=None):          
          if lineage is None:
               lineage = [child]
          if child in left:
               parent = np.where(left == child)[0].item()
               split = 'l'
          else:
               parent = np.where(right == child)[0].item()
               split = 'r'

          lineage.append((parent, split, threshold[parent], features[parent]))

          if parent == 0:
               lineage.reverse()
               return lineage
          else:
               return recurse(left, right, parent, lineage)

     for child in idx:
          for node in recurse(left, right, child):
               print node

以下のタプルのセットには、SAS if / then / elseステートメントを作成するために必要なものがすべて含まれています。doSASでブロックを使用したくないので、ノードのパス全体を表すロジックを作成します。タプルの後の単一の整数は、パス内の端末ノードのIDです。上記のすべてのタプルを組み合わせて、そのノードを作成します。

In [1]: get_lineage(dt, df.columns)
(0, 'l', 0.5, 'col1')
1
(0, 'r', 0.5, 'col1')
(2, 'l', 4.5, 'col2')
3
(0, 'r', 0.5, 'col1')
(2, 'r', 4.5, 'col2')
(4, 'l', 2.5, 'col1')
5
(0, 'r', 0.5, 'col1')
(2, 'r', 4.5, 'col2')
(4, 'r', 2.5, 'col1')
6

サンプルツリーのGraphViz出力


col1が再び来ているので、このタイプのツリーは正しいですか?1つはcol1 <= 0.50000で、1つはcol1 <= 2.5000です(はいの場合)。これは、このタイプの再帰
whish

正しいブランチは、の間にレコードを持っています(0.5, 2.5]。木は再帰的な分割で作られています。変数が複数回選択されるのを妨げるものはありません。
Zelazny7 2017年

さて、再帰部分で何が起こるのかを説明できますか。コードで使用したため、同様の結果が見られます
jayant sing

38

Zelazny7から送信されたコードを変更して、いくつかの疑似コードを出力しました。

def get_code(tree, feature_names):
        left      = tree.tree_.children_left
        right     = tree.tree_.children_right
        threshold = tree.tree_.threshold
        features  = [feature_names[i] for i in tree.tree_.feature]
        value = tree.tree_.value

        def recurse(left, right, threshold, features, node):
                if (threshold[node] != -2):
                        print "if ( " + features[node] + " <= " + str(threshold[node]) + " ) {"
                        if left[node] != -1:
                                recurse (left, right, threshold, features,left[node])
                        print "} else {"
                        if right[node] != -1:
                                recurse (left, right, threshold, features,right[node])
                        print "}"
                else:
                        print "return " + str(value[node])

        recurse(left, right, threshold, features, 0)

get_code(dt, df.columns)同じ例を呼び出すと、次のようになります。

if ( col1 <= 0.5 ) {
return [[ 1.  0.]]
} else {
if ( col2 <= 4.5 ) {
return [[ 0.  1.]]
} else {
if ( col1 <= 2.5 ) {
return [[ 1.  0.]]
} else {
return [[ 0.  1.]]
}
}
}

1
上記の出力でreturnステートメントの[[1. 0.]]が正確に何を意味するか、わかりますか。私はPythonの男ではありませんが、同じようなことに取り組んでいます。ですから、私にとってより簡単になるように、いくつかの詳細を証明していただければ幸いです。
Subhradip Bose、2015

1
@ user3156186これは、クラス「0」に1つのオブジェクトがあり、クラス「1」にゼロのオブジェクトがあることを意味します
Daniele

1
@Daniele、クラスの順序がわかりますか?英数字だと思いますが、確認がどこにもありません。
IanS

ありがとう!しきい値が実際に-2であるエッジケースのシナリオでは、次のように変更(threshold[node] != -2)する 必要がある場合があります( left[node] != -1)(子ノードのIDを取得するための以下のメソッドと同様)
tlingf

@ダニエレ、別の関数に送信する必要があるため、関数を「印刷」ではなく「get_code」を「返す」ようにする方法はありますか?
RoyaumeIX 2016年

17

Scikit Learn export_textは、ツリーからルールを抽出するために、バージョン0.21(2019年5月)と呼ばれるおいしい新しいメソッドを導入しました。ドキュメントはこちら。カスタム関数を作成する必要はなくなりました。

モデルに適合したら、2行のコードが必要です。まず、インポートexport_text

from sklearn.tree.export import export_text

次に、ルールを含むオブジェクトを作成します。ルールを読みやすくするには、feature_names引数を使用して、機能名のリストを渡します。たとえば、モデルが呼び出さmodelれ、フィーチャがというデータフレームで名前が付けられている場合X_train、次のオブジェクトを作成できますtree_rules

tree_rules = export_text(model, feature_names=list(X_train))

次に、単に印刷または保存しtree_rulesます。出力は次のようになります。

|--- Age <= 0.63
|   |--- EstimatedSalary <= 0.61
|   |   |--- Age <= -0.16
|   |   |   |--- class: 0
|   |   |--- Age >  -0.16
|   |   |   |--- EstimatedSalary <= -0.06
|   |   |   |   |--- class: 0
|   |   |   |--- EstimatedSalary >  -0.06
|   |   |   |   |--- EstimatedSalary <= 0.40
|   |   |   |   |   |--- EstimatedSalary <= 0.03
|   |   |   |   |   |   |--- class: 1

14

新しいがあるDecisionTreeClassifier方法は、decision_pathで、0.18.0リリース。開発者は、詳細な(十分に文書化された)ウォークスルーを提供しますます。

ウォークスルーのツリー構造を出力するコードの最初のセクションは問題ないようです。ただし、2つのセクションのコードを変更して、1つのサンプルを調査しました。私の変更は# <--

編集# <--以下のコードでマークされている変更は、プルリクエスト#8653および#10951でエラーが指摘された後、ウォークスルーリンクで更新されています。今に従うのはずっと簡単です。

sample_id = 0
node_index = node_indicator.indices[node_indicator.indptr[sample_id]:
                                    node_indicator.indptr[sample_id + 1]]

print('Rules used to predict sample %s: ' % sample_id)
for node_id in node_index:

    if leave_id[sample_id] == node_id:  # <-- changed != to ==
        #continue # <-- comment out
        print("leaf node {} reached, no decision here".format(leave_id[sample_id])) # <--

    else: # < -- added else to iterate through decision nodes
        if (X_test[sample_id, feature[node_id]] <= threshold[node_id]):
            threshold_sign = "<="
        else:
            threshold_sign = ">"

        print("decision id node %s : (X[%s, %s] (= %s) %s %s)"
              % (node_id,
                 sample_id,
                 feature[node_id],
                 X_test[sample_id, feature[node_id]], # <-- changed i to sample_id
                 threshold_sign,
                 threshold[node_id]))

Rules used to predict sample 0: 
decision id node 0 : (X[0, 3] (= 2.4) > 0.800000011921)
decision id node 2 : (X[0, 2] (= 5.1) > 4.94999980927)
leaf node 4 reached, no decision here

を変更しsample_idて、他のサンプルの決定パスを確認します。私はこれらの変更について開発者に尋ねたことはありませんが、例を処理するときにより直感的に思えました。


あなたは私の友人は伝説です!特定のサンプルの決定木をプロットする方法はありますか?多くの助けが感謝されます

1
Victorに感謝します。プロットの要件はユーザーのニーズに固有のものになる可能性があるため、これを別の質問として質問するのがおそらく最善です。出力をどのように見せたいかを考えれば、おそらく良い応答が得られます。
ケビン


:あなたは見てとることがとても親切だろうstackoverflow.com/questions/52654280/...
アレクサンダーChervov

node_indexと呼ばれる部分を取得するのではなく、説明することはできますか?それは何をするためのものか?
Anindya Sankar Dey

12
from StringIO import StringIO
out = StringIO()
out = tree.export_graphviz(clf, out_file=out)
print out.getvalue()

有向グラフを見ることができます。次に、clf.tree_.featureおよびclf.tree_.valueは、ノード分割機能の配列とノード値の配列です。詳細については、このgithubソースから参照できます。


1
はい、ツリーの描き方は知っていますが、もっとテキストバージョンのルールが必要です。例:orange.biolab.si/docs/latest/reference/rst/…–
Dror

4

みんながとても役に立ったからといって、Zelazny7とDanieleの美しいソリューションに変更を加えます。これはpython 2.7用で、読みやすくするためのタブが付いています。

def get_code(tree, feature_names, tabdepth=0):
    left      = tree.tree_.children_left
    right     = tree.tree_.children_right
    threshold = tree.tree_.threshold
    features  = [feature_names[i] for i in tree.tree_.feature]
    value = tree.tree_.value

    def recurse(left, right, threshold, features, node, tabdepth=0):
            if (threshold[node] != -2):
                    print '\t' * tabdepth,
                    print "if ( " + features[node] + " <= " + str(threshold[node]) + " ) {"
                    if left[node] != -1:
                            recurse (left, right, threshold, features,left[node], tabdepth+1)
                    print '\t' * tabdepth,
                    print "} else {"
                    if right[node] != -1:
                            recurse (left, right, threshold, features,right[node], tabdepth+1)
                    print '\t' * tabdepth,
                    print "}"
            else:
                    print '\t' * tabdepth,
                    print "return " + str(value[node])

    recurse(left, right, threshold, features, 0)

3

以下のコードは、anaconda python 2.7での私のアプローチと、決定ルールを含むPDFファイルを作成するためのパッケージ名「pydot-ng」です。お役に立てば幸いです。

from sklearn import tree

clf = tree.DecisionTreeClassifier(max_leaf_nodes=n)
clf_ = clf.fit(X, data_y)

feature_names = X.columns
class_name = clf_.classes_.astype(int).astype(str)

def output_pdf(clf_, name):
    from sklearn import tree
    from sklearn.externals.six import StringIO
    import pydot_ng as pydot
    dot_data = StringIO()
    tree.export_graphviz(clf_, out_file=dot_data,
                         feature_names=feature_names,
                         class_names=class_name,
                         filled=True, rounded=True,
                         special_characters=True,
                          node_ids=1,)
    graph = pydot.graph_from_dot_data(dot_data.getvalue())
    graph.write_pdf("%s.pdf"%name)

output_pdf(clf_, name='filename%s'%n)

ここの木のショー


3

私はこれを経験しました、しかし私はこのフォーマットで書かれるルールが必要でした

if A>0.4 then if B<0.2 then if C>0.8 then class='X' 

だから私はあなたが必要に応じてカスタマイズできる@paulkernfeld(ありがとう)の答えを採用しました

def tree_to_code(tree, feature_names, Y):
    tree_ = tree.tree_
    feature_name = [
        feature_names[i] if i != _tree.TREE_UNDEFINED else "undefined!"
        for i in tree_.feature
    ]
    pathto=dict()

    global k
    k = 0
    def recurse(node, depth, parent):
        global k
        indent = "  " * depth

        if tree_.feature[node] != _tree.TREE_UNDEFINED:
            name = feature_name[node]
            threshold = tree_.threshold[node]
            s= "{} <= {} ".format( name, threshold, node )
            if node == 0:
                pathto[node]=s
            else:
                pathto[node]=pathto[parent]+' & ' +s

            recurse(tree_.children_left[node], depth + 1, node)
            s="{} > {}".format( name, threshold)
            if node == 0:
                pathto[node]=s
            else:
                pathto[node]=pathto[parent]+' & ' +s
            recurse(tree_.children_right[node], depth + 1, node)
        else:
            k=k+1
            print(k,')',pathto[parent], tree_.value[node])
    recurse(0, 1, 0)

3

ここでは、SKompilerライブラリを使用してツリー全体を単一の(必ずしも人間が読めるとは限らない)Python式に変換する方法を示します。

from skompiler import skompile
skompile(dtree.predict).to('python/code')

3

これは@paulkernfeldの答えに基づいています。機能を備えたデータフレームXと、共振を備えたターゲットデータフレームyがあり、どのy値がどのノードで終了したか(そしてそれに応じてそれをプロットすることもできます)を知りたい場合は、次の操作を実行できます。

    def tree_to_code(tree, feature_names):
        from sklearn.tree import _tree
        codelines = []
        codelines.append('def get_cat(X_tmp):\n')
        codelines.append('   catout = []\n')
        codelines.append('   for codelines in range(0,X_tmp.shape[0]):\n')
        codelines.append('      Xin = X_tmp.iloc[codelines]\n')
        tree_ = tree.tree_
        feature_name = [
            feature_names[i] if i != _tree.TREE_UNDEFINED else "undefined!"
            for i in tree_.feature
        ]
        #print "def tree({}):".format(", ".join(feature_names))

        def recurse(node, depth):
            indent = "      " * depth
            if tree_.feature[node] != _tree.TREE_UNDEFINED:
                name = feature_name[node]
                threshold = tree_.threshold[node]
                codelines.append ('{}if Xin["{}"] <= {}:\n'.format(indent, name, threshold))
                recurse(tree_.children_left[node], depth + 1)
                codelines.append( '{}else:  # if Xin["{}"] > {}\n'.format(indent, name, threshold))
                recurse(tree_.children_right[node], depth + 1)
            else:
                codelines.append( '{}mycat = {}\n'.format(indent, node))

        recurse(0, 1)
        codelines.append('      catout.append(mycat)\n')
        codelines.append('   return pd.DataFrame(catout,index=X_tmp.index,columns=["category"])\n')
        codelines.append('node_ids = get_cat(X)\n')
        return codelines
    mycode = tree_to_code(clf,X.columns.values)

    # now execute the function and obtain the dataframe with all nodes
    exec(''.join(mycode))
    node_ids = [int(x[0]) for x in node_ids.values]
    node_ids2 = pd.DataFrame(node_ids)

    print('make plot')
    import matplotlib.cm as cm
    colors = cm.rainbow(np.linspace(0, 1, 1+max( list(set(node_ids)))))
    #plt.figure(figsize=cm2inch(24, 21))
    for i in list(set(node_ids)):
        plt.plot(y[node_ids2.values==i],'o',color=colors[i], label=str(i))  
    mytitle = ['y colored by node']
    plt.title(mytitle ,fontsize=14)
    plt.xlabel('my xlabel')
    plt.ylabel(tagname)
    plt.xticks(rotation=70)       
    plt.legend(loc='upper center', bbox_to_anchor=(0.5, 1.00), shadow=True, ncol=9)
    plt.tight_layout()
    plt.show()
    plt.close 

最もエレガントなバージョンではありませんが、それは仕事をします...


1
これは、コード行を出力するだけでなく、コード行を返したい場合に適した方法です。
Hajar Homayouni 2018

3

これはあなたが必要とするコードです

私はトップの好きなコードを修正して、jupyter Notebook python 3で正しくインデントしました

import numpy as np
from sklearn.tree import _tree

def tree_to_code(tree, feature_names):
    tree_ = tree.tree_
    feature_name = [feature_names[i] 
                    if i != _tree.TREE_UNDEFINED else "undefined!" 
                    for i in tree_.feature]
    print("def tree({}):".format(", ".join(feature_names)))

    def recurse(node, depth):
        indent = "    " * depth
        if tree_.feature[node] != _tree.TREE_UNDEFINED:
            name = feature_name[node]
            threshold = tree_.threshold[node]
            print("{}if {} <= {}:".format(indent, name, threshold))
            recurse(tree_.children_left[node], depth + 1)
            print("{}else:  # if {} > {}".format(indent, name, threshold))
            recurse(tree_.children_right[node], depth + 1)
        else:
            print("{}return {}".format(indent, np.argmax(tree_.value[node])))

    recurse(0, 1)

2

これは関数で、python 3でscikit-learnディシジョンツリーのルールを出力し、構造を読みやすくするための条件付きブロックのオフセットを使用しています。

def print_decision_tree(tree, feature_names=None, offset_unit='    '):
    '''Plots textual representation of rules of a decision tree
    tree: scikit-learn representation of tree
    feature_names: list of feature names. They are set to f1,f2,f3,... if not specified
    offset_unit: a string of offset of the conditional block'''

    left      = tree.tree_.children_left
    right     = tree.tree_.children_right
    threshold = tree.tree_.threshold
    value = tree.tree_.value
    if feature_names is None:
        features  = ['f%d'%i for i in tree.tree_.feature]
    else:
        features  = [feature_names[i] for i in tree.tree_.feature]        

    def recurse(left, right, threshold, features, node, depth=0):
            offset = offset_unit*depth
            if (threshold[node] != -2):
                    print(offset+"if ( " + features[node] + " <= " + str(threshold[node]) + " ) {")
                    if left[node] != -1:
                            recurse (left, right, threshold, features,left[node],depth+1)
                    print(offset+"} else {")
                    if right[node] != -1:
                            recurse (left, right, threshold, features,right[node],depth+1)
                    print(offset+"}")
            else:
                    print(offset+"return " + str(value[node]))

    recurse(left, right, threshold, features, 0,0)

2

また、どのクラスに属しているかを区別したり、出力値に言及したりすることで、さらに情報を提供することもできます。

def print_decision_tree(tree, feature_names, offset_unit='    '):    
left      = tree.tree_.children_left
right     = tree.tree_.children_right
threshold = tree.tree_.threshold
value = tree.tree_.value
if feature_names is None:
    features  = ['f%d'%i for i in tree.tree_.feature]
else:
    features  = [feature_names[i] for i in tree.tree_.feature]        

def recurse(left, right, threshold, features, node, depth=0):
        offset = offset_unit*depth
        if (threshold[node] != -2):
                print(offset+"if ( " + features[node] + " <= " + str(threshold[node]) + " ) {")
                if left[node] != -1:
                        recurse (left, right, threshold, features,left[node],depth+1)
                print(offset+"} else {")
                if right[node] != -1:
                        recurse (left, right, threshold, features,right[node],depth+1)
                print(offset+"}")
        else:
                #print(offset,value[node]) 

                #To remove values from node
                temp=str(value[node])
                mid=len(temp)//2
                tempx=[]
                tempy=[]
                cnt=0
                for i in temp:
                    if cnt<=mid:
                        tempx.append(i)
                        cnt+=1
                    else:
                        tempy.append(i)
                        cnt+=1
                val_yes=[]
                val_no=[]
                res=[]
                for j in tempx:
                    if j=="[" or j=="]" or j=="." or j==" ":
                        res.append(j)
                    else:
                        val_no.append(j)
                for j in tempy:
                    if j=="[" or j=="]" or j=="." or j==" ":
                        res.append(j)
                    else:
                        val_yes.append(j)
                val_yes = int("".join(map(str, val_yes)))
                val_no = int("".join(map(str, val_no)))

                if val_yes>val_no:
                    print(offset,'\033[1m',"YES")
                    print('\033[0m')
                elif val_no>val_yes:
                    print(offset,'\033[1m',"NO")
                    print('\033[0m')
                else:
                    print(offset,'\033[1m',"Tie")
                    print('\033[0m')

recurse(left, right, threshold, features, 0,0)

ここに画像の説明を入力してください


2

これは、SQLで直接使用できる形式で決定ルールを抽出するための私のアプローチです。これにより、データをノードごとにグループ化できます。(以前のポスターのアプローチに基づいています。)

結果はCASE、SQLステートメントにコピーできる後続の句になります。

SELECT COALESCE(*CASE WHEN <conditions> THEN > <NodeA>*, > *CASE WHEN <conditions> THEN <NodeB>*, > ....)NodeName,* > FROM <table or view>


import numpy as np

import pickle
feature_names=.............
features  = [feature_names[i] for i in range(len(feature_names))]
clf= pickle.loads(trained_model)
impurity=clf.tree_.impurity
importances = clf.feature_importances_
SqlOut=""

#global Conts
global ContsNode
global Path
#Conts=[]#
ContsNode=[]
Path=[]
global Results
Results=[]

def print_decision_tree(tree, feature_names, offset_unit=''    ''):    
    left      = tree.tree_.children_left
    right     = tree.tree_.children_right
    threshold = tree.tree_.threshold
    value = tree.tree_.value

    if feature_names is None:
        features  = [''f%d''%i for i in tree.tree_.feature]
    else:
        features  = [feature_names[i] for i in tree.tree_.feature]        

    def recurse(left, right, threshold, features, node, depth=0,ParentNode=0,IsElse=0):
        global Conts
        global ContsNode
        global Path
        global Results
        global LeftParents
        LeftParents=[]
        global RightParents
        RightParents=[]
        for i in range(len(left)): # This is just to tell you how to create a list.
            LeftParents.append(-1)
            RightParents.append(-1)
            ContsNode.append("")
            Path.append("")


        for i in range(len(left)): # i is node
            if (left[i]==-1 and right[i]==-1):      
                if LeftParents[i]>=0:
                    if Path[LeftParents[i]]>" ":
                        Path[i]=Path[LeftParents[i]]+" AND " +ContsNode[LeftParents[i]]                                 
                    else:
                        Path[i]=ContsNode[LeftParents[i]]                                   
                if RightParents[i]>=0:
                    if Path[RightParents[i]]>" ":
                        Path[i]=Path[RightParents[i]]+" AND not " +ContsNode[RightParents[i]]                                   
                    else:
                        Path[i]=" not " +ContsNode[RightParents[i]]                     
                Results.append(" case when  " +Path[i]+"  then ''" +"{:4d}".format(i)+ " "+"{:2.2f}".format(impurity[i])+" "+Path[i][0:180]+"''")

            else:       
                if LeftParents[i]>=0:
                    if Path[LeftParents[i]]>" ":
                        Path[i]=Path[LeftParents[i]]+" AND " +ContsNode[LeftParents[i]]                                 
                    else:
                        Path[i]=ContsNode[LeftParents[i]]                                   
                if RightParents[i]>=0:
                    if Path[RightParents[i]]>" ":
                        Path[i]=Path[RightParents[i]]+" AND not " +ContsNode[RightParents[i]]                                   
                    else:
                        Path[i]=" not "+ContsNode[RightParents[i]]                      
                if (left[i]!=-1):
                    LeftParents[left[i]]=i
                if (right[i]!=-1):
                    RightParents[right[i]]=i
                ContsNode[i]=   "( "+ features[i] + " <= " + str(threshold[i])   + " ) "

    recurse(left, right, threshold, features, 0,0,0,0)
print_decision_tree(clf,features)
SqlOut=""
for i in range(len(Results)): 
    SqlOut=SqlOut+Results[i]+ " end,"+chr(13)+chr(10)

1

これで、export_textを使用できます。

from sklearn.tree import export_text

r = export_text(loan_tree, feature_names=(list(X_train.columns)))
print(r)

[sklearn] [1]の完全な例

from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier
from sklearn.tree import export_text
iris = load_iris()
X = iris['data']
y = iris['target']
decision_tree = DecisionTreeClassifier(random_state=0, max_depth=2)
decision_tree = decision_tree.fit(X, y)
r = export_text(decision_tree, feature_names=iris['feature_names'])
print(r)

0

決定木からSQLをフェッチするようにZelazny7のコードを変更しました。

# SQL from decision tree

def get_lineage(tree, feature_names):
     left      = tree.tree_.children_left
     right     = tree.tree_.children_right
     threshold = tree.tree_.threshold
     features  = [feature_names[i] for i in tree.tree_.feature]
     le='<='               
     g ='>'
     # get ids of child nodes
     idx = np.argwhere(left == -1)[:,0]     

     def recurse(left, right, child, lineage=None):          
          if lineage is None:
               lineage = [child]
          if child in left:
               parent = np.where(left == child)[0].item()
               split = 'l'
          else:
               parent = np.where(right == child)[0].item()
               split = 'r'
          lineage.append((parent, split, threshold[parent], features[parent]))
          if parent == 0:
               lineage.reverse()
               return lineage
          else:
               return recurse(left, right, parent, lineage)
     print 'case '
     for j,child in enumerate(idx):
        clause=' when '
        for node in recurse(left, right, child):
            if len(str(node))<3:
                continue
            i=node
            if i[1]=='l':  sign=le 
            else: sign=g
            clause=clause+i[3]+sign+str(i[2])+' and '
        clause=clause[:-4]+' then '+str(j)
        print clause
     print 'else 99 end as clusters'

0

どうやらかなり前のことですが、誰かがすでに公式のscikitのツリーエクスポート関数(基本的にはexport_graphvizのみをサポートしています)に次の関数を追加しようとすることを決めました。

def export_dict(tree, feature_names=None, max_depth=None) :
    """Export a decision tree in dict format.

ここに彼の完全なコミットがあります:

https://github.com/scikit-learn/scikit-learn/blob/79bdc8f711d0af225ed6be9fdb708cea9f98a910/sklearn/tree/export.py

このコメントに何が起こったのか正確にはわかりません。しかし、その関数を使用することもできます。

これは、scikit-learnの善良な人々に、属性として公開されるsklearn.tree.Tree基本的なツリー構造であるAPI を適切に文書化するための深刻な文書化要求を正当化すると思いDecisionTreeClassifierますtree_


0

このようにsklearn.treeの関数を使用するだけです

from sklearn.tree import export_graphviz
    export_graphviz(tree,
                out_file = "tree.dot",
                feature_names = tree.columns) //or just ["petal length", "petal width"]

次に、プロジェクトフォルダーでファイルtree.dotを探し、すべてのコンテンツをコピーして、http://www.webgraphviz.com/に貼り付け、グラフを生成します:)


0

@paulkerfeldの素晴らしい解決策をありがとう。彼のソリューションの上に、すべての木のシリアル化されたバージョンを持ちたい方に、ちょうど使用するためにtree.thresholdtree.children_lefttree.children_righttree.featuretree.value。葉以来分割ので、無機能名と子供たち、彼らのプレースホルダ内を持っていないtree.featuretree.children_***している_tree.TREE_UNDEFINED_tree.TREE_LEAF。すべての分割には、によって一意のインデックスが割り当てられdepth first searchます。 形状に
注意してくださいtree.value[n, 1, 1]


0

以下は、出力を変換して決定木からPythonコードを生成する関数ですexport_text

import string
from sklearn.tree import export_text

def export_py_code(tree, feature_names, max_depth=100, spacing=4):
    if spacing < 2:
        raise ValueError('spacing must be > 1')

    # Clean up feature names (for correctness)
    nums = string.digits
    alnums = string.ascii_letters + nums
    clean = lambda s: ''.join(c if c in alnums else '_' for c in s)
    features = [clean(x) for x in feature_names]
    features = ['_'+x if x[0] in nums else x for x in features if x]
    if len(set(features)) != len(feature_names):
        raise ValueError('invalid feature names')

    # First: export tree to text
    res = export_text(tree, feature_names=features, 
                        max_depth=max_depth,
                        decimals=6,
                        spacing=spacing-1)

    # Second: generate Python code from the text
    skip, dash = ' '*spacing, '-'*(spacing-1)
    code = 'def decision_tree({}):\n'.format(', '.join(features))
    for line in repr(tree).split('\n'):
        code += skip + "# " + line + '\n'
    for line in res.split('\n'):
        line = line.rstrip().replace('|',' ')
        if '<' in line or '>' in line:
            line, val = line.rsplit(maxsplit=1)
            line = line.replace(' ' + dash, 'if')
            line = '{} {:g}:'.format(line, float(val))
        else:
            line = line.replace(' {} class:'.format(dash), 'return')
        code += skip + line + '\n'

    return code

使用例:

res = export_py_code(tree, feature_names=names, spacing=4)
print (res)

出力例:

def decision_tree(f1, f2, f3):
    # DecisionTreeClassifier(class_weight=None, criterion='gini', max_depth=3,
    #                        max_features=None, max_leaf_nodes=None,
    #                        min_impurity_decrease=0.0, min_impurity_split=None,
    #                        min_samples_leaf=1, min_samples_split=2,
    #                        min_weight_fraction_leaf=0.0, presort=False,
    #                        random_state=42, splitter='best')
    if f1 <= 12.5:
        if f2 <= 17.5:
            if f1 <= 10.5:
                return 2
            if f1 > 10.5:
                return 3
        if f2 > 17.5:
            if f2 <= 22.5:
                return 1
            if f2 > 22.5:
                return 1
    if f1 > 12.5:
        if f1 <= 17.5:
            if f3 <= 23.5:
                return 2
            if f3 > 23.5:
                return 3
        if f1 > 17.5:
            if f1 <= 25:
                return 1
            if f1 > 25:
                return 2

上記の例はで生成されnames = ['f'+str(j+1) for j in range(NUM_FEATURES)]ます。

便利な機能の1つは、スペースを小さくしてファイルサイズを小さくできることです。設定するだけspacing=2

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.