検出された線に基づいてホモグラフィを計算する

「完全なモデル」と画像点の間の対応点を使用して、画像からカメラ平面までのホモグラフィを計算できることを知っています。

私はサッカーのピッチ/フィールドでそれをやっており、エッジ検出を使用してピッチ内の白い線を見つけました。

しかし、カメラは（常に）すべてのピッチをカバーしているわけではないため、すべてのコーナーを見ることができません...そして、モデルのコーナーのみが100％既知のポイントです（他の顕著なポイントはありません）。

問題は、線が別の線と交差して角を形成しない限り、線の画像点のみを知っていることであり、モデルの対応する「完全/現実世界」座標ではありません。

検出された線が互いに交差せずにコーナーを作成していても、検出された線を使用してホモグラフィを計算する方法、または候補ホモグラフィのセットだけを計算する方法はありますか？

ピッチ、視野、および対応する実世界/モデル座標（緑色の円）を知ることができるピッチのポイント、および視野内ではまったく役に立たない可能性がある2行の例を示す画像の例、私は彼らがピッチの対応する現実世界/モデルで開始または停止する正確な手がかりがありません：

ここに画像の説明を入力してください赤い線は、使用したい線の例ですが、実際の座標はわかりません。カメラのポーズによっては、対応する点が「どこでも」になる可能性があるため、推定するのは難しいです。

— ヘンリック・キュス・アルスタッド
ソース

サンプル画像はありますか？または、少なくともライン検出の可能性のあるケースのスケッチ？あなたの質問への短い答えは「はい、できます」と思いますが、あなたからの詳細は、より詳細な答えを与えるのに役立つでしょう:)

— ペネロペ

サンプル画像を提供できますか？検出された線分が交差しない、または検出された線分を線に延長してから交差点を見つけようとしましたか？

— ppalasek

質問にサンプル画像を追加しました

— ヘンリックジュースアルスタッド

これを理解したことがありますか？私も結果に興味があります。

回答:

このための2つのアプローチを説明します。

1）1つのアプローチでは、ラインマッチングアルゴリズムが必要になります。線を一致させた後、線の終点を使用してホモグラフィを計算できます。EDLineまたはLSDベースの記述子を実現するために、最近OpenCVで提案されています。また、それらのハッシュと高速マッチングも実装されています。こちらのビデオをご覧ください。

http://www.youtube.com/watch?v=MqMjvSkM39k

http://www.youtube.com/watch?v=naSWTlbg3To

最近のopencv_contribリポジトリには、これらのメソッドのソースコードが含まれています。

線の終点がノイズの多い場合、線を直接利用して同形異義語を計算できます。そのような論文は次のようになります：

内部レポート：2005-V04画像ペアの3つのラインまたはポイントからのホモグラフィーの計算 G. Lopez-Nicolas、JJ Guerrero、OA Pellejero、C。Sagues

内部レポート：2003-V01堅牢なラインマッチングとホモグラフィの同時推定G. Lopez-Nicolas

ホモグラフィ用の行の確率的マッチングKim Taemin、Jihwan Woo、およびIn So Kweon

2）フィールドに固有の方法が1つあります：

「放送ホッケービデオの修正のためのラインおよび楕円機能の使用」、グプタ、アンクール、ジェームズJ.リトル、およびロバートJ.ウッドハム コンピューターアンドロボットビジョン（CRV）、2011カナダ会議。IEEE、2011年。

そして

「ホモグラフィ推定のためのラインとポイントの対応を組み合わせる。」、Dubrofsky、エラン、およびロバートJ.ウッダムを。ビジュアルコンピューティングに関する国際シンポジウム。シュプリンガーベルリンハイデルベルク、2008年。

$\mathbf{l}_i=(u,v,1)^T$ $\mathbf{l}_i^{'}=(x,y,1)^T$

l_{i}^{^{'}} = H^{T} l_{i}

$\mathbf{l}_i^{'} = \mathbf{H}^T \mathbf{l}_i$

この形式では、方程式をDLTメソッドに直接プラグインできます。

A_{i} = [\begin{matrix} - u & 0 & u x & - v & 0 & v x & - 1 & 0 & x \\ 0 & - u & u y & 0 & - v & v y & 0 & - 1 & y \end{matrix}]

$A_i = \begin{bmatrix} -u & 0 & ux & -v & 0 & vx & -1 & 0 & x \\ 0 & -u & uy & 0 & -v & vy & 0 & -1 & y \end{bmatrix}$

唯一の違いは正規化です。これは上記の参考文献に記載されています。

$x$ $C$ $x^TCx=0$

C^{'} = H^{- T} C H^{- 1}

$C' = H^{-T}CH^{-1}$

上記の参照では、この制約をDLTアルゴリズムに挿入する方法も説明しています。

楕円と線を使用して、堅牢な射影関係を導き出すことができます。

— トルガ・バーダル
ソース

線が平行でない場合は、交点を計算し、参照点として使用できます。絵画では、紫色のポイントも使用できます。

ここに画像の説明を入力してください

ところで、線の交点は画像内にある必要はありません。線が平行である限り

線が平行である場合、それらを使用して追加の制約を取得できます。たとえば、N <4ポイントおよびKラインがある場合、変換を推定できる場合があります

射影変換の方程式は次のとおりであることを思い出してください。

$x' = \frac{\left ( a_{11}x+a_{12}y+a_{13} \right ) } {\left ( a_{31}x+a_{32}y+1 \right )} \\ y' = \frac{\left ( a_{21}x+a_{22}y+a_{23} \right ) } {\left ( a_{31}x+a_{32}y+1 \right )}$

あなたの目標は、係数を見つけることです $a_{11},a_{12},a_{13},a_{21},a_{22},a_{23},a_{31},a_{32} \\$

$ax+by+c=0$ $Ax'+By'+C$

$Ax'+By'+C = 0 \implies \\ A(a_{21}x+a_{22}y+a_{23}) + B(a_{21}x+a_{22}y+a_{23}) + C( a_{31}x+a_{32}y+1) = 0$

次のように書き換えることができます。

$\left( \begin{array}{ccc} Ax & Ay & A & Bx & By & B & Cx & Cy \\ \end{array} \right) \left( \begin{array}{ccc} a_{11} \\ a_{12} \\ a_{13} \\ a_{21} \\ a_{22} \\ a_{23} \\ a_{31} \\ a_{32} \\ \end{array} \right) = -C$

$A,B,C$ $(x,y)$ $ax+by+c = 0$

その他の参考資料「Elan Dubrovskyによるホモグラフィの推定」-パート2.3.1、ラインからのホモグラフィの推定を参照

— アンドレイ・ラブシュタイン
ソース