特徴検出前の画像処理

Harrisコーナーに基づいて特徴検出器を実装しました。ほとんどの場合正常に機能しますが、パフォーマンスが低下する場合があります。個別に構成せずに、さまざまな画像で機能させる必要があります。

問題は、検出器のしきい値にあります。設定が低すぎると、検出器が何度も起動し、その結果、膨大な数の機能が発生します。高すぎる設定では、機能が少なすぎます。

私はこれをANMS（Adaptive Non-Maximal Suppression）で部分的に解決し、記述子ベクトルを割り当てる前に機能の数を減らしました。

ただし、次のような画像に問題があります。

ここに画像の説明を入力してください

コントラストが低く、すべての画像に対してしきい値を低く設定しすぎることは「ありません」。検出器がこれらの画像を処理するようになりますが、他の画像には何千もの機能が含まれるため、ANMSでのフィルタリングが遅くなり、全体的なパフォーマンスが低下します。

特徴検出の前に画像を調整することを考えていました。たぶん、ヒストグラムの等化がうまくいくでしょう。コントラストのグローバルな変更はフィーチャ記述子に影響を与えないため、これは有効な操作である可能性があります（輝度とコントラストの変更に対して不変です）。

たぶん、適応しきい値またはいくつかのヒューリスティックを使用するほうがうまくいくでしょう。

他に何か提案はありますか？

image-processing local-features

— Libor
ソース

@セイムス・ギュンゴレン：ああ。十分な解決策が見つかったので、これまでに得た回答を受け入れましたが、それでも、より良いまたはより複雑な回答を待っています。

— Libor

@Libor現在のケースでは、質問を解決する方が魅力的な場合があるため、新しい質問に適しています。

— SeyhmusGüngören2012

@Liborは、128前後の平均値を持つガウスのようなヒストグラムを選択するヒストグラムマッチングを検討しましたか

— SeyhmusGüngören2012

@SeyhmusGüngörenはい私はこれについて考えていました。私はおそらく他のいくつかのアイデアでそれを試すでしょう。

— Libor

@Libro検出された機能をどのように使用する予定ですか？私の唯一のアイデアは、コンテンツベースの画像検索またはマッチング（ホモグラフィ推定など）ですが、これは私がこれまでに行った唯一のことなので、私は間違っているかもしれません:)一方、それがあなたが使用する予定の場合それらのために、私は貢献できるかもしれません。

— ペネロペ2012

回答:

可能性としては、単純なエッジ検出（ラプラスなど）を行い、結果の平均強度をハリスコーナーのしきい値の基準として使用することが考えられます。コントラストが低いと、エッジが少なくなり、強度が低くなります。コントラストが高いと、エッジが多くなり、強度が高くなります。

この問題に苦しんでいるのはあなただけではありません。紙のデータベースにアクセスできる場合、これは興味深いかもしれません。

ブロック処理に基づく自動適応型ハリスコーナー検出アルゴリズム

（自動）適応型ハリスコーナー検出をさらに検索する価値があるかもしれません。

— ゲルテン
ソース

それは矛盾ではありません。検出器には2つの段階があります。1）機能を検出する、2）機能を説明する。ヒストグラムの等化は、ステージ2ではなく、ステージ1（より多くの特徴が検出された）に影響を与えるはずです。適度な量の特徴を検出する必要があるため、それほどフィルター処理する必要はありません。

— Libor

わかりました、私はこれを考えました、しかしそれはあなたの質問から完全に明確ではありませんでした。私はエッジ検出器を特徴検出器の入力として使用するつもりはありませんが、しきい値の値がどうあるべきかについてのあなた自身の尺度として使用します。

— Geerten

ありがとう、それは面白い考えです。Harrisコーナー検出器は、微分画像（dx、dy、dxy）を使用して、各ポイントでコーナーメジャーを構築します。これはすでにエッジ測定に基づいているため、コーナー応答関数のヒストグラムを取得し、そのヒストグラムのしきい値を計算することを考えています。あなたは私にインスピレーションを与えてくれて、ありがとう:)

— Libor 2012

私はあなたを刺激することができてうれしいです;）役に立つかもしれない紙を追加しました。

— Geerten 2012

あなたは本当にハリスコーナーを使わなければなりませんか？Harrisコーナーの後に開発された多くの機能があり、より優れた特性を備えています。この記事で良い概要を見つけることができます：

AL Dahl、H。Aanæs、およびKS Pedersen。最良の特徴検出器と記述子の組み合わせを見つける

その記事と私の個人的な経験に基づいて、MSER（Maximally Stable Extermal Regions）に切り替えるか、DoG （Difference of Gaussians）と組み合わせることをお勧めします。これは、SIFTパイプラインの一部として最初に提供された機能です。

問題が実際に低コントラストである場合、MSER機能は本当にあなたを幸せにするはずです：それらは（かなり）照明の変化に対して不変です。要するに、それらは一連の異なる閾値二値化を通じて安定した画像の接続された領域です。

特徴抽出プロセスは記述子の計算から独立しているため、特徴抽出の新しい方法をプロセスに統合することはそれほど難しくありません。

また、ハリスコーナーの拡張機能としてマルチスケールハリスコーナーについて聞いたことがありますが、実際には使用していません。私はそれらについてあまり知りませんし、個人的にはこのトピックに関する資料を推薦することはできませんので、記事の検索と最も興味深い資料をあなたに任せます。

さらに、投稿した画像に低コントラスト以外の問題がある可能性があることをお勧めします。私の個人的な経験では、茂みのような植生や、おそらくあなたが持っているフィールド、そして素敵な泡立ちの雲は、「一般的な特徴」を生み出す傾向があります。

実際には、これは、異なる視点からの2つの画像で特徴照合を行うと、これらの種類の表面から抽出された特徴が誤って照合される傾向があることを意味します。私はこの問題に遭遇したときに、2つの画像間のホモグラフィ変換を計算するためにさらに使用される特徴マッチングで使用される特徴抽出を主に扱う修士論文を作成しました。当時、この問題を説明する他の記事は見つかりませんでしたが、私の論文はあなたの全体的なアプローチに役立つかもしれません。

最後に、設定したように、ほとんどの画像で正常に機能するしきい値と手法は、ほとんどが均一な領域であるため、この種の画像ではほとんど機能を抽出しません。この種の画像は、特徴のマッチング（画像のスティッチングに拡張できます）、コンテンツベースの画像検索に問題があり、追跡や同様のアプリケーションを想定しています。現在のところ、これらに対して非常にうまく機能する方法はありません。

この回答で簡単に説明した取り組みのように、この種の画像でよく機能する方法と典型的なケースが現在調査されています。

— ペネロペ
ソース

詳しい回答ありがとうございます。時間があるときに書類を調べます。私は、実装の複雑さと特許の問題という2つの問題に直面している機能検出器を実装していました。私のアプリケーションは商用の画像調整およびスティッチングライブラリであるため、実装のリソースと時間が限られているため、SIFTまたはSURFの費用を支払う余裕がありません。私はおそらくMSERまたはその他の高度な検出器/記述子に切り替えるでしょうが、これまでのところ、Harrisのコーナーは、照明の悪い画像を除いてうまく機能しています。

— Libor、2012年

@Liborそれはそれの美点です：あなたは切り替える必要はありません。既存の検出->説明パイプラインに新しい機能を追加するだけです。特徴がどのように抽出されても、常に同じ方法で記述子を計算できます。私が書いたすべてのものの中で、おそらく検出/説明のためのさまざまなオプションを比較する最初の記事が最も役立つかもしれません。

— ペネロペ2012年

大きな記述子を収集してから、PCAを使用して記述子の速度と識別力を向上させました。ただし、PCAは大規模なデータセットの場合は非常にコストがかかります。記述子の一般的な機能強化により、この作品は私を魅了しました。これまでのところ、使用しているのは「フィーチャスペース外れ値の拒否」だけです。これは、1-nn / 2-nnの距離に基づいて、フィーチャの一致をしきい値処理するだけです。これはD. Loweの論文で説明されており、薄暗い空間での距離のシェル特性を利用するため、非常に優れた識別力があります。

— Libor

検出器に関しては、大きな視点の変化とスケールの不変性は問題ではありません。画像モザイキング（パノラマ、顕微鏡）の場合、ズームは通常不変に保たれ、一致する画像間のアフィンまたは射影の変形はごくわずかです。主な問題は、実際に検出される機能が少なすぎるか多すぎることと、記述子が不十分であることです。

— リボル

私は個人的には記述子の選択についてあまり知りません。私はSIFTのみを使用してきました。しかし、あなたが提供したリンクはそれらがDAISY記述子に似ていると述べました、私はそれも非常に良いと評価されたことを覚えています。より多くの特徴エクストラクターを組み合わせると、より多くの機能が提供されるはずです。スケール不変性は、たとえそれが必要ない場合でもプラスになります。複数の特徴抽出器を使用すると識別力が高まることを言及しているいくつかの作品を読みました（必要に応じてリンクを検索できます）。

— ペネロペ2012年