互いに素な分類器のアンサンブルで構成される分類器のROC曲線を計算する効率的なアルゴリズム

同じ入力で2つがtrueを返さないという意味で互いに素な分類子C_1 ... C_nがあるとします（たとえば、決定木のノード）。これらのサブセットの和集合である新しい分類器を構築したい（例えば、決定木のどの葉で肯定的な分類を行うかを決定したい）。もちろん、そうすることで、感度と正の予測値の間にはトレードオフがあります。だから私はROC曲線を見たいです。原則として、分類子のすべてのサブセットを列挙し、結果の感度とPPVを計算することでこれを行うことができます。ただし、nが30以上の場合、これは非常に高価です。一方、パレート最適ではない組み合わせはほぼ確実に存在するため、分岐限定戦略などが存在する可能性があります。

このアプローチが実りある可能性が高いかどうか、作業があるかどうか、または上記の状況でROC曲線を効率的に計算するためのアイデアがあるかどうかについてアドバイスをお願いします。

$N$$1$$0$

これはナップザックの問題に非常によく似ています！クラスターのサイズは「重み」であり、クラスター内の正のサンプルの数は「値」であり、固定容量のナップサックをできるだけ多くの値で満たしたいと考えています。

ナップザック問題には、正確な解を見つけるためのいくつかのアルゴリズムがあります（動的プログラミングなど）。しかし、便利な貪欲な解決策は、クラスターを降順でソートすることです$\frac{value}{weight}$$k$$k$$0$$N$

$1$$k-1$$p\in[0,1]$$k$

Pythonの例を次に示します。

import numpy as np
from itertools import combinations, chain
import matplotlib.pyplot as plt
np.random.seed(1)
n_obs = 1000
n = 10

# generate clusters as indices of tree leaves
from sklearn.tree import DecisionTreeClassifier
from sklearn.datasets import make_classification
from sklearn.model_selection import cross_val_predict
X, target = make_classification(n_samples=n_obs)
raw_clusters = DecisionTreeClassifier(max_leaf_nodes=n).fit(X, target).apply(X)
recoding = {x:i for i, x in enumerate(np.unique(raw_clusters))}
clusters = np.array([recoding[x] for x in raw_clusters])

def powerset(xs):
    """ Get set of all subsets """
    return chain.from_iterable(combinations(xs,n) for n in range(len(xs)+1))

def subset_to_metrics(subset, clusters, target):
    """ Calculate TPR and FPR for a subset of clusters """
    prediction = np.zeros(n_obs)
    prediction[np.isin(clusters, subset)] = 1
    tpr = sum(target*prediction) / sum(target) if sum(target) > 0 else 1
    fpr = sum((1-target)*prediction) / sum(1-target) if sum(1-target) > 0 else 1
    return fpr, tpr

# evaluate all subsets
all_tpr = []
all_fpr = []
for subset in powerset(range(n)):
    tpr, fpr = subset_to_metrics(subset, clusters, target)
    all_tpr.append(tpr)
    all_fpr.append(fpr)

# evaluate only the upper bound, using knapsack greedy solution
ratios = [target[clusters==i].mean() for i in range(n)]
order = np.argsort(ratios)[::-1]
new_tpr = []
new_fpr = []
for i in range(n):
    subset = order[0:(i+1)]
    tpr, fpr = subset_to_metrics(subset, clusters, target)
    new_tpr.append(tpr)
    new_fpr.append(fpr)

plt.figure(figsize=(5,5))
plt.scatter(all_tpr, all_fpr, s=3)
plt.plot(new_tpr, new_fpr, c='red', lw=1)
plt.xlabel('TPR')
plt.ylabel('FPR')
plt.title('All and Pareto-optimal subsets')
plt.show();

このコードはあなたのために素晴らしい絵を描きます：

$2^{10}$

そして今、ちょっとした塩：サブセットについて全く気にする必要はありませんでした！私がやったのは、それぞれの陽性サンプルの割合で木の葉をソートすることです。しかし、得られたのは、ツリーの確率的予測のROC曲線です。これは、トレーニングセットのターゲット周波数に基づいて葉を手摘みしてツリーを上回ることはできないことを意味します。

リラックスして、通常の確率的予測を使用し続けることができます:)

貪欲な方法を使用することをお勧めします。開始する分類器を指定すると、アンサンブルに最高のパフォーマンス向上をもたらす分類器が含まれます。分類子を追加しても改善が見られない場合は、停止します。すべての分類子から始めます。複雑さはせいぜいN * Nになります。

もう1つ質問があります。「あなたの文脈では特に、「パレート最適」とはどういう意味ですか？wikiからこの説明、https：//en.wikipedia.org/wiki/Pareto_efficiencyを見つけました

再割り当てにより、他の参加者の幸福度を低下させることなく、少なくとも1人の参加者の幸福度を改善できます。

パレート効率の改善は、各分類子に対応する可能性のある各参加者に対してです。1つの分類子に対する改善をどのように定義しますか？