決定木を最適化するためのアルゴリズム

バックグラウンド

二分決定木$T$は、ルートからリーフへのパスがインデックスを繰り返さないように、各内部ノード（およびルート）がインデックスラベル付けされているルート付きツリー出力によってラベル付けされ、各エッジは左の子に対して、右の子に対してでラベル付けされ。入力ツリーを適用するには：{ A 、B } 0 1 $j \in \{1,..., n\}$$\{A,B\}$$0$$1$$x$

1. ルートから開始
2. リーフにいる場合は、リーフラベルまたはを出力して終了します$A$$B$
3. ラベル読む$j$あなたの現在のノードのを、もし$x_j = 0$その後、左の子に移動している場合$x_j = 1$、次に右の子に移動します。
4. ステップ（2）にジャンプします

ツリーは、特に、我々は木言う、機能を評価するための方法として使用されている$T$合計関数を表し$f$それぞれについて場合$x \in \{0,1\}^n$我々は$T(x) = f(x)$。ツリーのクエリの複雑さはその深さであり、関数のクエリの複雑さはそれを表す最小のツリーの深さです。

問題

バイナリ決定木Tが与えられると、TとT 'が同じ関数を表すような最小の深さのバイナリ決定木T'が出力されます。

質問

このための最も有名なアルゴリズムは何ですか？下限はわかっていますか？ことがわかったらどうしますか？T ′がほぼ最小の深さであることが必要な場合はどうでしょうか？$\text{depth}(T') = O(\log \text{depth}(T))$$T'$

素朴なアプローチ

ナイーブアプローチには、が与えられ、深さd − 1のすべてのバイナリ決定木を再帰的に列挙し、それらがTと同じものに評価されるかどうかをテストします。これにはO （d 2 n n $d = \text{depth}(T)$$d - 1$$T$ステップ（任意のxに対してT（x）が評価するものをチェックするのにdステップかかると仮定します）。より良いアプローチはありますか？$O(\frac{d 2^n n!}{(n - d)!})$$d$$T(x)$$x$

動機

この質問は質問複雑さと時間複雑さの間のトレードオフの前の質問によって動機づけられます。特に、目標は全機能の時間分離を制限することです。実行時間tの時間最適アルゴリズムからツリーを作成し、クエリ最適アルゴリズムのためにツリーT 'に変換したいと思います。残念ながら、もしT ∈ O （N ！/（N - D ）！）（そして多くの場合、D ∈ Θ （n個$T$$t$$T'$$t \in O(n!/(n - d)!)$$d \in \Theta(n)$）ボトルネックは変換です。を置き換えることができたらいいですね！/（n − d ）！2 dのようなものによって。$n!/(n - d)!$$2^d$

答えは3つありますが、いずれも硬度の結果が多少異なります。

ましょう、いくつかの関数です。$f: \{0,1\}^n \rightarrow \{0,1\}$

回答1

fと数を計算する決定木与えられた場合、最大でその数のサイズのfを計算する決定木T 'が存在するかどうかを判断するのはNP困難です。$T$$f$$T'$$f$（ザンテマとボドレンダー'00）

回答2

fを計算する決定木与えられた場合、fを計算する最小の決定木を任意の定数因子に近似することはNP困難です。$T$$f$$f$（シリング'08）

回答3

してみましょう最小の決定木コンピューティングのサイズでF。決定木所与T算出Fを仮定すると、N P ⊊ D T I M E （2 n個のεの）一部のε < 1を、一方が等価決定木を見つけることができないT '大きさのS kのいずれかのためのk ≥ 0。$s$$f$$T$$f$$NP \subsetneq DTIME(2^{n^\epsilon})$$\epsilon < 1$$T'$$s^k$$k \ge 0$

このより強い答え（より弱い仮定に基づく）は、次の引数を介して、決定木のOccamアルゴリズムの学習理論における既知の結果から作成できると思います。

1. それは上の決定木を見つけることが可能であるの時間内で変数を n個のログ秒、どこsが分布（PACモデル）からの例と一致し、最小の決定木です。（ブルーム'92） $n$$n^{\log s}$$s$
2. 仮定一部のε < 1、我々はPACサイズ学ぶことができないのサイズによって決定木をS k個のいずれかのために決定木K ≥ 0。（Alekhnovich et al。'07）$NP \subsetneq DTIME(2^{n^\epsilon})$$\epsilon < 1$$s$$s^k$$k \ge 0$

これらの2つの結果は、問題の難易度の結果を暗示しているようです。一方（1）では、大きな決定木を見つけることができます。一方（2）では、サイズsが存在する場合でも、サイズ同等の「小さい」サイズを取得するために最小化することはできません。$s^k$$s$