平面テーブル上に複数のオブジェクトを含む画像があり、各オブジェクトのセグメンテーションマスクの出力が望ましいアルゴリズムを実装しようとしています。CNNとは異なり、ここでの目的は、なじみのない環境でオブジェクトを検出することです。この問題への最善のアプローチは何ですか？また、オンラインで利用可能な実装例はありますか？

編集：申し訳ありませんが、質問は少し誤解を招く可能性があります。「なじみのない環境」とは、オブジェクトがアルゴリズムにとって未知である可能性があるということです。アルゴリズムはオブジェクトが何であるかを理解する必要はありませんが、オブジェクトを検出するだけです。この問題にどのように取り組むべきですか？

素早い対応

その画像セグメンテーション機能でよく知られているO （n 2）の有名なMean Shiftアルゴリズムの$O(n)$アップグレードであるMean Shift LSH$O(n^2)$

いくつかの説明

$K$$O(n)$$K$楕円クラスターと見つけるための設計であるため、-Meansは失敗しないで、ランダムな形状のものを。

反対に、ランダムな形状でクラスターの数を自動的に検出できる平均シフトがあります。これは、探しているものがわからない場合に便利です。

$K$$K$

画像セグメンテーションクラスタリングへのアドバイス

RGBからユークリッド距離に適したLUVに色空間を変換します。

$K$

• $O(\alpha.n)$
• $O(\beta.n)$
• $\alpha \gt \beta$

平均シフトLS​​Hは遅くなりますが、ニーズによりよく適合します。それはまだ線形のままで、前述の実装でスケーラブルです。

PS：私のプロフィール写真は、それがどのように機能するかを理解するのに役立つ場合、自分での平均シフトLS​​Hのアプリケーションです。

CVPR 2018に提出および承認されたこの作業を確認する必要があるかもしれません：すべてのものをセグメント化する学習

この作業では、ネットワークに認識されていないオブジェクトも含めて、すべてをセグメント化しようとします。マスクR-CNNは、転移学習サブネットワークと組み合わせて使用​​されており、ほとんどすべてのセグメント化で非常に優れた結果が得られます。

画像セグメンテーションの最先端（SOTA）は、FacebookのMask-RCNNです。

通常、COCOやPascalなどの実際のオブジェクトを特徴とするデータセットでトレーニングされますが、実際のデータであるかどうかに関係なく、選択したデータセットで再トレーニングできます。

Facebookは、Apache2ライセンスの下で実装（Detectron）を提供しています。試してみる！

実際、あなたの仕事は監督されています。Segnetあなたの目的に適したアーキテクチャであり、その実装の1つにここからアクセスできます。SegNetは、教師あり学習からピクセル単位のクラスラベルを予測することを学習します。したがって、対応するグラウンドトゥルースラベル付きの入力画像のデータセットが必要です。ラベル画像は、各ピクセルがそのクラス...でラベル付けされた単一のチャンネルでなければなりません。

また、あなたの仕事に最適な完全畳み込みネットワークも見てください。

質問の編集に基づいて、追加の情報を追加します。このタスクに適用できる方法は多数あります。基本的に最も簡単な方法は、バックグラウンドラベルを使用し、前述のアーキテクチャを採用して、バックグラウンドとして知らないクラスをバックグラウンドとして分類することです。そうすることで、このアプローチのおそらく欠点であるバックグラウンドクラスが重複する可能性のあるラベルができますが、その利点は、トレーニングされたラベルが入力で頻繁に使用される場合に、比較的軽量なバージョンのアーキテクチャを使用できることです。不明なクラスを認識します。

これはあなたが探しているものかもしれません。セグメンテーションではなく画像のセグメンテーションを要求するのでsemantic / instance、画像の各セグメントにラベルを付ける必要がないと思います。

このメソッドが呼び出さscene-cutれ、教師なしの方法で画像をクラスにとらわれない領域に分割します。これは、室内が雑然とした環境の場合に非常にうまく機能します。

紙のリンク：arxiv

コード：コード