平均シフトを使用した画像セグメンテーションの説明

誰かがMean Shiftセグメンテーションが実際にどのように機能するかを理解するのを手伝ってくれませんか？

ここに私がちょうど作った8x8の行列があります

  103  103  103  103  103  103  106  104   
  103  147  147  153  147  156  153  104   
  107  153  153  153  153  153  153  107   
  103  153  147  96   98   153  153  104   
  107  156  153  97   96   147  153  107   
  103  153  153  147  156  153  153  101   
  103  156  153  147  147  153  153  104   
  103  103  107  104  103  106  103  107

上記のマトリックスを使用して、平均シフトセグメンテーションが3つの異なるレベルの数値をどのように分離するかを説明できますか？

最初の基本：

平均シフトセグメンテーションは、ローカライズされたオブジェクトのシェーディングまたは色調の違いを減衰させるのに非常に役立つローカルな均質化手法です。例は多くの単語よりも優れています：

アクション：各ピクセルをrange-r近傍のピクセルの平均で置き換え、その値は距離d内にあります。

平均シフトは通常3つの入力を受け取ります。

1. ピクセル間の距離を測定するための距離関数。通常はユークリッド距離ですが、他の明確に定義された距離関数を使用することもできます。マンハッタン距離は、時には別の有用な選択です。
2. 半径。この半径内のすべてのピクセル（上記の距離に従って測定）が計算に含まれます。
3. 値の違い。半径r内のすべてのピクセルから、平均を計算するために、この差の範囲内にあるピクセルのみを取得します

アルゴリズムは境界で十分に定義されていないため、実装が異なると結果も異なります。

数学の詳細についてはここでは説明しません。適切な数学表記がないと表示できず、StackOverflowでも利用できないためです。また、他の優れたソースから入手できるためです。

マトリックスの中心を見てみましょう：

153  153  153  153 
147  96   98   153 
153  97   96   147   
153  153  147  156  

半径と距離を適切に選択すると、中央の4つのピクセルの値は97（それらの平均）になり、隣接するピクセルとは異なります。

Mathematicaで計算してみましょう。実際の数値を表示する代わりに、色分けを表示するので、何が起こっているのかを簡単に理解できます。

マトリックスの色分けは次のとおりです。

次に、妥当な平均シフトを採用します。

MeanShiftFilter[a, 3, 3]

そして私達は得る：

すべての中央要素が等しい場合（97、BTW）。

Mean Shiftを使用して数回繰り返し、より均一なカラーリングを取得できます。数回繰り返した後、安定した非等方性の構成に到達します。

現時点では、平均シフトを適用した後に取得する「色」の数を選択できないことは明らかです。それでは、その方法を示しましょう。これは、質問の後半です。

出力クラスターの数を事前に設定できるようにするために必要なのは、Kmeansクラスター化のようなものです。です。

それはあなたのマトリックスのためにこのように実行されます：

b = ClusteringComponents[a, 3]

{{1, 1, 1, 1, 1, 1, 1, 1}, 
 {1, 2, 2, 3, 2, 3, 3, 1}, 
 {1, 3, 3, 3, 3, 3, 3, 1}, 
 {1, 3, 2, 1, 1, 3, 3, 1}, 
 {1, 3, 3, 1, 1, 2, 3, 1}, 
 {1, 3, 3, 2, 3, 3, 3, 1}, 
 {1, 3, 3, 2, 2, 3, 3, 1}, 
 {1, 1, 1, 1, 1, 1, 1, 1}}  

または：

これは前の結果とよく似ていますが、ご覧のとおり、出力レベルは3つしかありません。

HTH！

平均シフトセグメンテーションは次のように機能します。

画像データは特徴空間に変換されます

あなたの場合、あなたが持っているのは強度値だけなので、特徴空間は1次元のみになります。（たとえば、いくつかのテクスチャフィーチャを計算すると、フィーチャ空間は2次元になり、強度とテクスチャに基づいてセグメント化されます）

検索ウィンドウは特徴空間に分散されます

この例では、ウィンドウの数、ウィンドウサイズ、初期位置は任意です。特定のアプリケーションに応じて微調整できます。

平均シフト反復：

1.）各ウィンドウ内のデータサンプルのMEANが計算されます

2.）ウィンドウは、以前に計算された平均と等しい場所にシフトされます。

手順1.）と2.）は収束するまで繰り返されます。つまり、すべてのウィンドウが最終位置に落ち着きます。

同じ場所にあるウィンドウがマージされます

データはウィンドウトラバーサルに従ってクラスター化されます。

...たとえば、場所「2」で終了したウィンドウが通過したすべてのデータは、その場所に関連付けられたクラスターを形成します。

したがって、このセグメンテーションは（偶然にも）3つのグループを生成します。これらのグループを元の画像形式で表示すると、ベリサリウスの答えの最後の写真のようになります。異なるウィンドウサイズと初期位置を選択すると、異なる結果が生成される場合があります。