一連の画像から3D構造を再構築するにはどうすればよいですか？

次のようにグループ化された輪郭のセット（線分セットのセット）があります。

$S_i = \{I^0, I^\frac{\pi}{4}, I^\frac{2\pi}{4}, \ldots, I^\frac{7\pi}{4} \}$

どこで

• $S_i$は、1つの具体的なオブジェクトの写真のシーケンスを示します。
• $I^j$は視点を持つ画像を表します（は正面図を意味します）。 j = $j^{th}$$j=0$

（背面図）の例を次に示します。 $I^\pi$

与えられたでオブジェクトの3D構造をどのように再構築できますか？$S_i$

誰かが私にいくつかの論文を教えてくれたり、キーワードを教えてもらえますか？ポイントクラウドなどで動作する多くの記事があることは知っていますが、線で動作しているため、それらは機能しません。

実際、それは非常に難しいトピックです。古典的なマルチビュー3D再構成は、そもそもポイントマッチングを扱います。つまり、すべての画像で同じポイントを見つけます。各画像のカメラ（ビュー）パラメーターを指定すると、元の3Dポイントを再構築できます。（レーザーまたはプロジェクターを使用すると、シーンを照らすことができるため、マッチングを比較的簡単に行うことができます。）

この分野の聖書は、HartleyとZissermanによるComputer VisionのMultiple View Geometryです。

この本には、3つのビュー間の多重線形制約である三焦点テンソルに関するセクションがあります。また、ポイントだけでなくライン対応の制約も含まれています。建物の再建に非常によく使用できます。

したがって、そもそも輪郭を一致させる必要があり、カメラのパラメーターを知っていれば再構築できます（カメラのキャリブレーションについても本で説明しています）。次に、3Dの輪郭が表示されますが、それ以上は表示されません。実際の表面では、密な点マッチングを行う必要があります。私が述べたテンソルは見栄えが良いですが、直線に使用されており、現代の車には曲線が全面にあると確信しています。

これらの輪郭をどのように取得したかはわかりませんが、投稿した画像を見ると、そのアルゴリズムの堅牢性について非常に懐疑的であるため、再構築は不十分です。

それが私の頭に浮かんだもう一つの方法は、視覚的な船体または空間彫刻です。輪郭計算も実行する必要があります。各輪郭でメソッドを実行すると、モデルを作成できます。

Fodor HartleyとZissermanの本で言及されていますが、実際のアルゴリズムよりも一般的な理解のために読む価値があります。それはかなり時代遅れであり、これらの方法は効率的ではありません。あなたの問題について-問題の定式化自体は非常にまれです。Fodorが言及したように、輪郭の代わりに特徴点を一致させることから始める方がはるかに簡単です。ポイントの場合、利用可能な最新の方法の絶対的な最良の概要はTriggsの論文「Bundle Adjustment — A Modern Synthesis」ですが、バンドル調整を使用する前に、SIFTまたはテンプレートマッチングなどを使用して画像上の対応するポイントを一致させる必要があります。Google for 3D再構築いくつかの完全なメソッドの例。また、オープンソースパッケージを使用することもできます。いくつか使用できます。

輪郭を使用することを主張する場合、問題ははるかに困難ですが、まだ（ほとんど）扱いやすいです。最初に、すべての画像の対応する輪郭を識別して一致させ、その後、各画像のカメラ位置と方向からの関数として、一致した各輪郭グループの再投影誤差の合計のコスト関数を記述します。その後、このコスト関数を最小化するカメラ位置のセットを見つけます。このプロセスの各ステップは非常に難しく、トリガーのような概要はありません。「輪郭」「一致する一致」「バンドル調整」「再投影エラー」「3D再構成」という用語の組み合わせとして、関連する論文をGoogleで検索できます。

画像からのモデルの再構築を確認してください。これはあなたがやっていることとは少し異なりますが、画像から3Dモデルに移行する方法についてお話します。MeshLabもチェックしてください。これには、データをフィードできる再構築アルゴリズムがいくつかあります。