ステレオカメラから密な点群を取得する方法は？

シーンの再構成にステレオカメラを使用しようとしていますが、通常は疎な点群しか取得できません（つまり、画像の半分以上には適切な深度情報がありません）。

ステレオ処理アルゴリズムは、画像内のテクスチャの存在に依存しており、視差範囲や相関ウィンドウサイズなど、より良い結果を得るために微調整できるいくつかのパラメーターがあることを理解しています。ただし、これらのパラメーターを調整する限り、Kinectなどのアクティブセンサーを使用して取得できる結果にリモートで近い結果を得ることができません。

私が欲しいのは、隣接する領域に対応する点群が一致を取得するのに十分なオーバーラップを持たないことが非常に多いため、再構成が著しく損なわれるためです。

コンピュータビジョンの専門家への私の質問は次のとおりです。一般に、（オフィス環境を恣意的に変更せずに）より高密度の点群を取得するにはどうすればよいですか？

特徴点の検出をスキップして、画像全体を（グリッドなどとして）密にサンプリングし、すべてのサンプルポイントで特徴記述子を計算することができます。おそらく、すべてのピクセルの記述子を計算することもできます。

スケールの不変性は失われる可能性がありますが、オブジェクトは両方の画像でほぼ同じスケールであるため、ステレオビジョンではそれほど問題にはなりません。

別のアプローチとして、コーナー、エッジ、ブロブなど、複数の特徴点検出アルゴリズムを組み合わせる方法があります。次に、検出されたすべてのポイントに対して同じ機能記述子アルゴリズムを使用する必要がありますが、この後者の部分は実装がやや難しい場合があります。

したがって、私が過去に使用したステレオ画像処理アルゴリズムは、ピクセルごとに実装されていました。私たちはピンホールカメラモデルを使用し、深度推定が実際のものと一致するまで、メジャーを使用して古い方法の測定をいくつか行いました。

一対の平行カメラの方程式は次のとおりです。

• $d =$カメラ間の距離の半分
• $f =$カメラの焦点距離（同じであると想定）
• 座標フレーム：
  • $x, y, z =$カメラ間の座標フレーム（つまり、カメラのベースフレーム）
  • $u_R, v_R$ロボットから見た右カメラのカメラ座標（uは水平、vは垂直）
  • $u_L, v_L$左カメラのカメラ座標
  • 注：カメラ座標の原点は、カメラ間の座標フレームです（つまり、u軸は反対方向を向いています）。

$u_L = \frac{f(x-d)}{z}$、$u_R = \frac{f(x+d)}{z}$

$zu_R = f(x+d)$、$zu_L = f(x-d)$

$z(u_R - u_L) = 2df$

$z = \frac{2df}{u_R - u_L}$

$y = \frac{v_L*z + df}{f}$

$x = \frac{u_L*z + df}{f}$

これらの方程式を使用して、密なステレオクラウドを計算できます。カメラの各ピクセルに1つ。

「画像の半分以上には適切な深度情報がありません」と言うとき、どちらの半分ですか？

私たちが遭遇した1つの問題は、オブジェクトまでの距離がベースラインと同じ桁の場合（通常は非常に広角のカメラに関連付けられている）、「標準」の高密度ステレオアルゴリズムがうまく機能しないことです。私たちはlibelasライブラリを使用してきましたが、その開発者は、これは「ラージベースラインステレオ」と呼ばれ、さらに別の問題であると述べました。

KITTIステレオベンチマークリーダーをご覧ください。このベンチマークは、特定のポイントで不均衡を生じさせないためにアルゴリズムにペナルティを課します。そのため、上位のパフォーマーは（多くのポイントで推定の根拠があまりない場合でも）密な出力を生成します。一部のメソッドには、リンクされている公開されているコードがあり、それを試すことができます。

時間がかかることによるペナルティはないため、多くのメソッドの実行にはイメージごとに数分かかるため、アプリケーションに適さない場合があることに注意してください。多くのCNNベースのメソッドが導入されていますが、それらは非常にうまく機能しますが、（GPUで）1秒未満で実行されます。これらのうち少なくとも1つ（CRL）には公開コードがあります。

それでも画像上で適切な深さの見積もりが得られない場合は、目に見えるアプローチから何が可能かという限界を見ているだけかもしれません。基本的に、領域に特徴的なテクスチャがあり、ポイントをうまく一致させることができます。または、テクスチャのない領域でいくつかの強力な仮定（たとえば、滑らかさ）を行うための基礎が必要です。