ビデオフレーム間のハリスコーナートラッキングを改善するための前処理?


8

無人航空機のグレースケールビデオ画像安定化アプリケーションでは、フレームNから選択されたフレームN + 1の「良い」ハリスコーナーを見つけるのが困難です。問題の原因は、フレーム間の急激な不均一なピクセルコントラストの変化にあるようです。おそらく空中にいて、遅いフレームレート(約3 fps)を使用していることが、ピクセルコントラストのシフトの根本的な原因です。

フレームN + 1の「良い」ハリスコーナーの追跡を改善するために、フレーム間のピクセルコントラストを滑らかにするために、さまざまなヒストグラム均等化手法を試しました。結果は依然として悪いままです。

誰かが遅いフレームレートの日中の空中環境でビデオフレーム間のハリスコーナートラッキングを改善する方法について何か提案がありますか?よろしくお願いします。

編集:2012年1月30日、テストケース(実際のフレームサイズではない)画像を追加

概要の更新:2012年2月8日。人々は、Harrisコーナーはグレースケールビデオ機能の追跡ではそれほど有用ではないことを示唆しています。以下の回答は、さまざまな代替案へのリンクを提案および提供しています。これらの代替案を評価しており、その時点で結果を報告します。コメントと回答をありがとうございました。

これは、35個の「良好な」5x5ハリスコーナーが選択された前のフレームNです。元のフレームは8 bppのrawピクセルです。

前のフレームN

59列266列目にある5x5のハリスコーナーは次のとおりです。

以前の5x5でr59 c266

追跡された5x5のHarrisコーナーがいくつかある現在のフレームN + 1。そのうちの1つだけが有効です。

現在のフレームN + 1

r47 c145のフレームN + 1に表示される前のフレーム5x5 Harrisコーナー:

以前の5x5と現在の5x5 r47 c145

選択した5x5のピクセル強度がすべて、前のフレームから現在のフレームまで不均一に変化していることに注意してください。フレーム間のコントラストイコライゼーションテクニックは、現在のフレームで選択された5x5ピクセルの前のフレームを検出するのに役立ちません。すべての提案を歓迎します。


3
いくつかの画像をアップロードしてください。そうでない場合は、ランダムな提案が表示されます。
nav 2012年

しましょう。申し訳ありません、私はそのことを考えるべきでした。
David Pointer 2012年

@nav完了!素晴らしい提案をありがとうございます。
David Pointer

回答:


9

別の特徴検出器を試すことができますか?FASTは、erm、より高速で、フレームレートが高いほど、マッチングが容易になります(機能がフレーム間を大きく移動している場合)


識別された特徴点の周囲のグレースケール領域を使用して、フレーム間で一致させようとしているようです。これ、特にフレーム間の動きが多い場合は、不十分になる可能性があります。

照合する特徴点の周囲の領域の「記述子」と呼ばれるものを使用すると、パフォーマンスが向上する場合があります。

SURFおよびSIFTアルゴリズム内でいくつかの可能な記述子が使用されます-それら追跡する領域を識別するための手法持っていますが、その要件をバイパスしました。ステレオビジョンマッチングで使用するために設計されたより単純な記述子は、現在のメソッド(ステレオビジョンでも広く展開されている)と同じ理由で、フレーム間のマッチングにはうまく機能しない可能性がありますが、センサス変換です。

これについて読む本は、Computer VisionのMultiple View Geometryです。


提案ありがとう。fps制限要因は、実際にはシステム内のカメラです。非常に大きなフレームサイズです。実際に、使用しているテクノロジを使用した現在のアルゴリズムのセットを使用すると、これらのフレームサイズで最大12 fpsを実現できます。
David Pointer

ああ、待って。フレーム間で観測されたオブジェクト上で実際に強度が変化するために利用できる時間が少ないため、より高いカメラフレームレートはこの強度/コントラストのシフトの問題を完全に回避していると思いますか?機体自体は33ミリ秒で大きく移動できます。
デビッドポインター2012年

3

SIFT / SURF / Otherの代わりに、フレームがほとんど変換によって変換された場合(回転/パースペクティブが小さい場合)、FFT位相相関を使用することもできます。精度を高めるために、画像の領域に位相相関を繰り返し適用することもできます。

http://en.wikipedia.org/wiki/Phase_correlation


1

2つの画像を位置合わせする場合は、より優れた局所特徴検出器を使用する必要があります。SIFTはおそらく最も人気があり、成功したものです。


弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.