教師なし学習を評価するパフォーマンスメトリック

教師なし学習（クラスタリングなど）に関して、パフォーマンスを評価するためのメトリックはありますか？

ある意味では、この質問には答えられないと思います。これは、特定の教師なし方法がどれだけうまく機能するかは、そもそも教師なし学習を行う理由に大きく依存するからです。明らかにこれは完全に真実ではありません。人々はこれらの問題に取り組み、何らかの評価を含む結果を公開します。私が知っているいくつかのアプローチの概要を以下に示します。

クラスタリングのための優れたリソース（参考資料）は、sklearnのドキュメントページであるClustering Performance Evaluationです。これにはいくつかの方法が含まれますが、1つを除くすべてのシルエット係数は、グラウンドトゥルースラベルが利用可能であることを前提としています。この方法は、質問「クラスタリングの評価尺度」にも記載されており、この質問のコメントにリンクされています。

教師なし学習方法が確率的である場合、別のオプションは、保留されたデータの確率測定（対数尤度、困惑など）を評価することです。ここでの動機は、教師なし学習方法が、パラメータの適合に使用されなかった同様のデータに高い確率を割り当てる場合、おそらく関心のある分布をキャプチャするのに良い仕事をしたということです。このタイプの評価が一般的に使用されるドメインは、言語モデリングです。

最後に言及するオプションは、関連する補助タスクで教師付き学習者を使用することです。監視されていないメソッドが潜在変数を生成する場合、これらの潜在変数は入力の表現であると考えることができます。したがって、これらの潜在変数を、データが属するドメインに関連するタスクを実行する教師付き分類器の入力として使用するのが賢明です。教師ありメソッドのパフォーマンスは、教師なし学習者のパフォーマンスの代理として機能します。これは基本的に、表現学習に関するほとんどの作業で見られる設定です。

この説明はおそらく少し曖昧であるため、具体的な例を示します。単語表現学習に関するほとんどすべての作業では、評価に次のアプローチを使用します。

1. 教師なし学習者を使用して単語の表現を学習します。
2. 学習した表現を、音声タグ付けや名前付きエンティティ認識などのNLPタスクを実行する教師付き学習者の入力として使用します。
3. 入力としてバイナリワードプレゼンス機能などの標準表現を使用して、ベースラインと比較して教師あり学習者のパフォーマンスを向上させる能力により、教師なし学習者のパフォーマンスを評価します。

作用におけるこのアプローチの例えば紙参照ワード観測研修制限ボルツマンマシンダールら。