2つのヒストグラムの類似性を評価する方法は？

2つのヒストグラムがある場合、それらが類似しているかどうかをどのように評価しますか？

2つのヒストグラムを単に見るだけで十分ですか？単純な1対1のマッピングには、ヒストグラムがわずかに異なり、わずかにシフトする場合、目的の結果が得られないという問題があります。

助言がありますか？

読む価値がある最近の論文は次のとおりです。

Cao、Y。Petzold、L。化学反応システムの確率的シミュレーションにおける精度の限界と誤差の測定、2006年。

このホワイトペーパーでは、確率論的シミュレーションアルゴリズムの比較に焦点を当てていますが、本質的には、2つのヒストグラムの比較方法が主なアイデアです。

著者のWebページからPDFにアクセスできます。

2つのヒストグラムの間には多くの距離測定があります。これらの指標の適切な分類は次の場所で読むことができます。

K. Meshgi、およびS. Ishii、「追​​跡精度を改善するためのグリッドを使用した色のヒストグラムの拡張」、Proc。MVA'15、東京、2015年5月。

最も一般的な距離関数は、便宜上ここにリストされています。

• $L_0$　または距離

$D_{L0} = \sum\limits_{i} h_1(i) \neq h_2(i)$

• $L_1$、マンハッタン、または都市ブロック距離

$D_{L1} = \sum_{i}\lvert h_1(i) - h_2(i) \rvert$

• $L=2$またはユークリッド距離

$D_{L2} = \sqrt{\sum_{i}\left( h_1(i) - h_2(i) \right) ^2 }$

• Lまたはチビシェフ距離$_{\infty}$

$D_{L\infty} = max_{i}\lvert h_1(i) - h_2(i) \rvert$

• Lまたは分数距離（ミンコフスキー距離族の一部）$_p$

$D_{Lp} = \left(\sum\limits_{i}\lvert h_1(i) - h_2(i) \rvert ^p \right)^{1/p}$および$0<p<1$

• ヒストグラム交差点

$D_{\cap} = 1 - \frac{\sum_{i} \left(min(h_1(i),h_2(i) \right)}{min\left(\vert h_1(i)\vert,\vert h_2(i) \vert \right)}$

• コサイン距離

$D_{CO} = 1 - \sum_i h_1(i)h2_(i)$

• キャンベラ距離

$D_{CB} = \sum_i \frac{\lvert h_1(i)-h_2(i) \rvert}{min\left( \lvert h_1(i)\rvert,\lvert h_2(i)\rvert \right)}$

• ピアソンの相関係数

$D_{CR} = \frac{\sum_i \left(h_1(i)- \frac{1}{n} \right)\left(h_2(i)- \frac{1}{n} \right)}{\sqrt{\sum_i \left(h_1(i)- \frac{1}{n} \right)^2\sum_i \left(h_2(i)- \frac{1}{n} \right)^2}}$

• コルモゴロフ-スミルノフ発散

$D_{KS} = max_{i}\lvert h_1(i) - h_2(i) \rvert$

• 一致距離

$D_{MA} = \sum\limits_{i}\lvert h_1(i) - h_2(i) \rvert$

• クラマー・フォン・ミーゼス距離

$D_{CM} = \sum\limits_{i}\left( h_1(i) - h_2(i) \right)^2$

• $\chi^2$統計

$D_{\chi^2} = \sum_i \frac{\left(h_1(i) - h_2(i)\right)^2}{h_1(i) + h_2(i)}$

• バタチャリャ距離

$D_{BH} = \sqrt{1-\sum_i \sqrt{h_1(i)h_2(i)}}$＆hellinger

• 乗和音

$D_{SC} = \sum_i\left(\sqrt{h_1(i)}-\sqrt{h_2(i)}\right)^2$

• カルバックリーブラー発散

$D_{KL} = \sum_i h_1(i)log\frac{h_1(i)}{m(i)}$

• ジェフェリー発散

$D_{JD} = \sum_i \left(h_1(i)log\frac{h_1(i)}{m(i)}+h_2(i)log\frac{h_2(i)}{m(i)}\right)$

• Earth Mover's Distance（これは、ビニング情報を距離に埋め込む交通距離の最初のメンバーです。詳細については、上記の論文またはWikipediaのエントリを参照してください。$A$

$D_{EM} = \frac{min_{f_{ij}}\sum_{i,j}f_{ij}A_{ij}}{sum_{i,j}f_{ij}}$ $\sum_j f_{ij} \leq h_1(i) , \sum_j f_{ij} \leq h_2(j) , \sum_{i,j} f_{ij} = min\left( \sum_i h_1(i) \sum_j h_2(j) \right)$そしてからの流れを表し に$f_{ij}$$i$$j$

• 二次距離

$D_{QU} = \sqrt{\sum_{i,j} A_{ij}\left(h_1(i) - h_2(j)\right)^2}$

• 二次カイ距離

$D_{QC} = \sqrt{\sum_{i,j} A_{ij}\left(\frac{h_1(i) - h_2(i)}{\left(\sum_c A_{ci}\left(h_1(c)+h_2(c)\right)\right)^m}\right)\left(\frac{h_1(j) - h_2(j)}{\left(\sum_c A_{cj}\left(h_1(c)+h_2(c)\right)\right)^m}\right)}$および$\frac{0}{0} \equiv 0$

これらの距離のいくつかのA Matlabの実装では、私のGitHubリポジトリから入手可能です： https://github.com/meshgi/Histogram_of_Color_Advancements/tree/master/distance また、あなたがのためにヨッシRubner、オフィールペレ、マルコCuturiや海浜陵のような連中を検索することができますより多くの最先端の距離。

更新：距離の代替の説明が文献のあちこちにあるので、完全を期すためにここにリストします。

• キャンベラ距離（別のバージョン）

$D_{CB}=\sum_i \frac{|h_1(i)-h_2(i)|}{|h_1(i)|+|h_2(i)|}$

• Bray-Curtisの非類似度、ソレンセン距離（ヒストグラムの合計が1に等しいため、等しい）$D_{L0}$

$D_{BC} = 1 - \frac{2 \sum_i h_1(i) = h_2(i)}{\sum_i h_1(i) + \sum_i h_2(i)}$

• ジャカード距離（すなわち、ユニオンの交差点、別のバージョン）

$D_{IOU} = 1 - \frac{\sum_i min(h_1(i),h_2(i))}{\sum_i max(h_1(i),h_2(i))}$

この質問に対する標準的な答えは、カイ2乗検定です。KSテストは、ビン化されたデータではなく、ビン化されていないデータ用です。（ビニングされていないデータがある場合は、必ずKS形式のテストを使用しますが、ヒストグラムのみがある場合は、KSテストは適切ではありません。）

コルモゴロフ・スミルノフ検定を探しています。バーの高さを各ヒストグラムのすべての観測値の合計で割ることを忘れないでください。

たとえば、分布の平均が互いに相対的にシフトしている場合、KSテストも差を報告していることに注意してください。x軸に沿ったヒストグラムの変換がアプリケーションで意味をなさない場合、最初に各ヒストグラムから平均値を差し引くことができます。

Davidの回答が指摘しているように、KSテストは連続分布を前提としているため、ビン分割されたデータにはカイ2乗テストが必要です。KS検定が不適切である理由（naught101のコメント）については、ここで取り上げる価値のある応用統計文献でこの問題について議論が行われています。

両方のヒストグラム間の相互相関（畳み込み）を計算できます。それには、わずかな変換が考慮されます。