トレーニングデータとテストデータの分布の違い

機械学習の基本的な前提は、トレーニングデータとテストデータが同じ母集団から抽出され、したがって同じ分布に従うことです。しかし、実際には、これはほとんどありません。共変量シフトはこの問題に対処します。誰かがこれに関する以下の疑問をクリアできますか？

2つの分布が統計的に異なるかどうかをどのように確認しますか？カーネル密度推定（KDE）を使用して、確率分布を推定して違いを伝えることはできますか？特定のカテゴリの画像が100枚あるとします。テスト画像の数は50で、トレーニング画像の数を5から50に5のステップで変更しています。KDEで推定した後、5つのトレーニング画像と50のテスト画像を使用すると、確率分布が異なると言えますか？

2つの確率分布の違いを測定する良い方法は、Kullbak-Lieblerです。ディストリビューションが1つに統合されていることを考慮する必要があります。また、対称ではないため、距離ではないことを考慮する必要があります。KL（A、B）がKL（B、A）と等しくない

大規模なデータセットを使用している場合。トレーニングとテストセットの配布はそれほど異なっていない場合があります。理論的には、「多数の法則」は、分布が同じままであることを保証します。データのセットが小さい場合、これはおそらく配布を管理するのに適したポイントです。Hoapによると、ヒューマノイド「Kullbak-Liebler」を使用して、2つのセットの分布の違いを見つけることができます。