コインをひっくり返して分類器を組み合わせる

私は機械学習コースを勉強しており、講義のスライドには推奨されている本と矛盾する情報が含まれています。

問題は次のとおりです。3つの分類子があります。

• 低い範囲のしきい値でより良いパフォーマンスを提供する分類子A
• より高い範囲のしきい値でより優れたパフォーマンスを提供する分類子B
• 分類子C pコインを反転し、2つの分類子から選択することで得られるもの。

ROC曲線で見た分類器Cのパフォーマンスはどうなりますか？

講義のスライドでは、このコインを反転させるだけで、分類器AとBのROC曲線の魔法の「凸包」が得られると述べています。

私はこの点を理解していません。コインをひっくり返すだけで、どのようにして情報を得ることができますか？

講義スライド

本が言うこと

一方、推奨される本（Ian H. Witten、Eibe Frank、Mark A. HallによるData Mining ...）は次のように述べています。

これを確認するには、tAとfAのそれぞれ正と偽の正の割合を与えるメソッドAの特定の確率カットオフと、tBとfBを与えるメソッドBの別のカットオフを選択します。これら2つのスキームを確率pとq（p + q = 1）でランダムに使用すると、pの真と偽の陽性率が得られます。tA + q tBおよびp fA + q fB。これは、ポイント（tA、fA）と（tB、fB）を結ぶ直線上にあるポイントを表し、pとqを変えることにより、これら2つのポイント間のライン全体をトレースできます。

私の理解では、本が言うことは、実際に情報を得て凸包に到達するためには、単にpコインをひっくり返すよりも高度なことをする必要があるということです。

私の知る限り、正しい方法は（本で提案されているように）次のとおりです。

1. 分類器Aの最適なしきい値Oaを見つける必要があります
2. 分類器Bの最適なしきい値Obを見つける必要があります

3. Cを次のように定義します。

   • t <Oaの場合、tで分類器Aを使用します
   • t> Obの場合、tで分類器Bを使用
   • Oa <t <Obの場合、OaとObの間の位置の線形結合としての確率により、Oaを持つ分類器AとObを持つBの間を選択します。

これは正しいです？はいの場合、スライドが示唆するものと比較していくつかの重要な違いがあります。

1. それは単純なコインの反転ではなく、どの地域に属するかに基づいて手動で定義されたポイントとピックを必要とするより高度なアルゴリズムです。
2. OaとObの間のしきい値で分類子AとBを使用することはありません。

私の理解が正しくなかった場合、この問題とそれを理解する正しい方法は何ですか？

スライドが示すように、単にpコインを反転させるだけで何が起こるでしょうか？AとBの間のROC曲線が得られると思いますが、特定のポイントでより良い曲線よりも「良い」曲線になることはありません。

私が見る限り、私はスライドがどのように正しいかを本当に理解していません。左側の確率的計算は私には意味がありません。

更新： 凸包法を発明した元の著者によって書かれた記事を見つけました：http : //www.bmva.org/bmvc/1998/pdf/p082.pdf

（編集済み）

講義のスライドは正しいです。

方法Aには、それぞれ（TPA、グラフのFPA）の真と偽の陽性率を与える「最適点」があります。この点は、しきい値、またはより一般的には[*] Aの最適な決定境界に対応します。Bについても同じことが言えます（ただし、しきい値と境界は関係ありません）。

分類器Aは、「偽陽性を最小限に抑える」設定（保守的な戦略）および分類器Bを「真の陽性を最大化する」（積極的な戦略）の下でうまく機能することがわかります。

最初の質問に対する答えは基本的にははいです。ただし、コインの確率は（ある意味では）任意です。最後のクラシフィエは次のようになります。

$x$$x$$p$

（修正済み：実際、講義は完全に正しい。いずれにしてもコインを裏返すことができる。図を参照）

$p$

[*]ここで一般的になります。単一のスカラーしきい値の観点から考えると、これはほとんど意味がありません。しきい値ベースの分類子を使用した1次元の特徴では、AとBの異なる分類子を使用するのに十分な自由度がありません。これは、自由パラメーター（決定境界=しきい値）が異なる場合に異なる曲線に沿って実行されます。つまり、AとBは、「分類子」ではなく「メソッド」または「システム」と呼ばれます。Aは分類器のファミリー全体であり、単なるスカラーではなく、決定境界を決定するパラメーター（スカラー）によってパラメーター化されているためです]

わかりやすくするために図を追加しました。

$t$$t$$t$$t_A=2$$t$$t_B=4$

このシナリオでは、塗りつぶされたオレンジ色の線が「最適なA分類子」（そのファミリー内）であり、Bでも同じであると言えます。しかし、オレンジ色の線が青い線よりも優れているかどうかはわかりません偽陽性に高いコストを割り当てるとより良くなり、偽陰性にはるかにコストがかかる場合はより良くなります。

現在、これらの2つの分類器は私たちのニーズに対して極端すぎる場合があります。どちらのタイプのエラーも同様の重みを持つようにしたいと思います。分類子A（オレンジドット）またはB（青いドット）を使用する代わりに、それらの間にあるパフォーマンスを達成することをお勧めします。もちろん言うように、コインをひっくり返すだけでその結果を達成し、ランダムに分類子の1つを選択することができます。

コインを単にひっくり返すだけで、どのようにして情報を得ることができますか？

情報は得られません。新しいランダム化分類器は、AまたはBよりも単に「優れている」だけでなく、各タイプのエラーに割り当てられたコストに関して、パフォーマンスはAとBの平均のようなものです。それは、私たちの費用に応じて、私たちにとって有益な場合とそうでない場合があります。

私の知る限り、正しい方法は（本で提案されているように）次のとおりです...これは正しいですか？

$p$

あなたの推論に同意します。ポイントAとBの間にコインフリッピングによる分類器を使用して1つを選択すると、曲線上のポイントは常により良い分類器の下で、より悪い分類器の上になり、おそらく両方の上にはありません！ダイアグラムに何か問題があるはずです。2つのROC曲線がランダム選択アルゴリズムと交差する時点で、2つのアルゴリズムと同じパフォーマンスが得られます。図が示すように、その上にはありません。