パターン認識のための分類子の比較に関する問題

私はジェスチャーを認識し、常に任意のカテゴリに分類する分類子Mを設計しました。ジェスチャーは、サンプル時系列yとトレーニング時系列xの間のハミング距離に基づいて分類されます。分類子の結果は確率値です。A、B、Cの3つのクラス/カテゴリがあり、ハンドジェスチャを分類します。分類するクラスごとに100個のサンプルがあります（単一の機能とデータの長さ= 100）。データは異なる時系列です（x座標vs時間）。トレーニングセットは、どのジェスチャが何回発生したかを示す確率を割り当てるために使用されます。したがって、10個のトレーニングサンプルのうち、ジェスチャAが6回出現した場合、ジェスチャがカテゴリAに該当する確率は

P（A）= 0.6同様にP（B）= 0.3

そして

P（C）= 0.1

現在、この分類器の性能をベイズ分類器、K-NN、主成分分析（PCA）およびニューラルネットワークと比較しようとしています。

1. 分類子の特徴はROCプロットの確率値であるため、ROCまたは交差検証を検討する場合、パラメーターと方法をどのように実行すればよいですか？したがって、k-nn、ベイ分類およびPCAの特徴は何ですか？
2. 便利なコードがありますか？
3. 3つのクラスのジェスチャがある場合、kの値はどうあるべきですか？

助けてください。私は修正中です。

これを行う簡単な方法はありません。実際、Charles Parkerによる最近の論文は、ROC曲線測定の使用に関するいくつかの問題を説明しています（私のブログにわかりやすい概要があります-自己宣伝アラート!!）。彼の論文は、さまざまな分類子を比較するための最良の方法についていくつかの推奨事項を作成しているため、そこで役立つ情報を見つけることができます。

1. 分類子を比較する一般的な方法は、ROCを使用して分類子を比較することです。固定範囲の誤警報率について、どの分類子が最高の精度を達成したかを確認します。単一のメジャーが必要な場合は、ROC（AUC）の下のエリアを使用できます。他にも多くの対策があります。調べてください。公平に比較​​するには、すべての分類子を同じ基準で比較する必要があります。これは、同じ機能と同じトレーニング条件を意味します。

2. kの値は、さまざまな値を試すことによって調べる必要があるものです。検証セットで最高のパフォーマンスを発揮する値を選択しますが、パラメーターの調整中に使用しなかったテストセットの結果のみを報告します。