ディープラーニングによるワンショットオブジェクト検出


7

近年、オブジェクト検出の分野は、ディープラーニングパラダイムの普及後、大きな進歩を遂げました。YOLO、SSD、FasterRCNNなどのアプローチは、オブジェクト検出の一般的なタスクにおいて最新技術を保持します[ 1 ]。

ただし、特定のアプリケーションシナリオで、検出するオブジェクト/ロゴの参照画像が1つしか与えられていない場合、ディープラーニングベースの方法は適用性が低く、SIFTやSURFなどの局所特徴記述子がより適切な代替手段として表示されます。導入コストはほぼゼロです。

私の質問は、ディープラーニングがオブジェクトクラスごとに1つのトレーニング画像だけでオブジェクト検出にうまく使用されているアプリケーション戦略(できれば、それらを説明する研究論文だけでなく、利用可能な実装)を指摘できますか?

アプリケーションシナリオの例:

単一のトレーニング/参照画像 ロゴを検出する必要があるサンプル画像

この場合、SIFTは画像内のロゴを正常に検出します。

SIFTによる検出の成功


FaceID、与えられた1枚の写真で人を認識
Tim

回答:


3

結局のところ、通常のオブジェクト検出ネットワークを一連のデータ拡張でトレーニングするだけで、ある程度の結果が得られます。

私はあなたの投稿から「コカ・コーラ」のロゴを取り、それにいくつかのランダムな増強を行いました。次に、flickrから10000枚のランダムな画像をダウンロードし、これらの画像にロゴをランダムに貼り付けました。赤いランダム領域を画像にランダムに追加して、赤いブロブが有効なオブジェクトであることをネットワークが認識しないようにしました。私のトレーニングデータからのいくつかのサンプル:

ここに画像の説明を入力してください ここに画像の説明を入力してください ここに画像の説明を入力してください ここに画像の説明を入力してください

次に、このデータセットでRCNNモデルをトレーニングしました。ここに私がグーグル画像で見つけたいくつかのテストセット画像があります、そしてモデルはかなり大丈夫なようです。

ここに画像の説明を入力してください ここに画像の説明を入力してください ここに画像の説明を入力してください

結果は完璧ではありませんが、約2時間でまとめました。データ生成とモデルのトレーニングに少し注意を払えば、はるかに優れた結果が得られると思います。

Learning to Model Tailのような論文からのアイデアは、私がしたように大量のデータを生成する必要がなく、1つまたはいくつかの例で新しいオブジェクトカテゴリの学習を可能にするために使用できると思いますが、私は知りません彼らはオブジェクト検出の実験を行っています。


ええ、それは私たちがしばらく適用してきたアプローチです。これが以前に文献に適用されているかどうか知りたいだけです...回答ありがとうございます!
ダニエル・ロペス
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.