立体画像を処理して3Dから2Dに変換する

ステレオスコピックイメージを取得して、モノスコピックイメージになり、結果として得られるビューポイントが2つのビューポイントが実際にどこにあるかを中心にして、それらを合計できるかどうか疑問に思っています。

たとえば、約1フィート離れた2台のカメラがある場合、それぞれが同時に3フィート離れた被写体の画像を取得し、結果の画像を取得して処理し、結果の画像をまるで外側の2つの中央に配置された3番目のカメラから撮影したものですか？

この種の補間のためのツールはありますか？マトリックスの作成で、回転のフレームの塗りつぶしについて話し合ったいくつかのシーンを覚えています。撮影を処理するのに約4〜5台のカメラしか必要としませんでした。（公平を期すために、それぞれが1フレームを撮影する一連のカメラを備えていた部分も覚えています。）

これは可能ですか？もしそうなら、それを行うためにどのツールを使用しますか？

たいていの場合、説得力のある画像を再構築できますが、視点間のポイントから実際に見えるものを再現することはできません。

たとえば、2つの視点がそれぞれパネルの中央にあるように木製のフェンスの真正面で撮影された画像を考えてください。中間の視点はパネル間を見るでしょう：

    ^
    |
--- | ---
 o  x  o

もちろん、パネルの2つの写真から、パネル間に見えるものを再現することはできません。

ほとんどの写真では、どちらの視点からも見られなかったが、真ん中の視点から見られたであろう特定の角度があります。モノスコピック画像を作成するツールは、何が表示されたかを推測する必要があります。

ピクピクをチェックしてください。

私が知る限り、2つの画像で一致するピクセルを見つけるためにオプティカルフローのようなものを使用し、欠落しているピクセルを単純な最近傍で推測して、深度情報を使用して補間ビューを作成します。これは、私が試した立体画像でかなりうまく機能し、小刻みな立体視よりも効果が向上しています。この例では、塗りつぶされたピクセルといくつかのエラーを確認できます。

一般に、これはビュー補間と呼ばれます。

グッファの木製フェンスのような多くの場合、それは不可能です。無限遠のフォーカスなど、他のいくつかのケースでは、それは取るに足らないことです。その間のすべてについて、それは本当に本当に難しいです。Kinectのファームウェアを含む、それを行うソフトウェアの一部があります。トリックは、2つのビューを取得し、それらを使用してカメラの前にある世界の3Dモデルを作成し、次に、目的のポイントからその世界のビューを作成する必要があることです。

現在の一部のKinectプロジェクトでは、上または横からシーンを見ながら、仮想視点を任意に移動できます。移動するカメラから遠ざかるほど、利用できない情報が多くなり、結果として得られる画像のギャップが大きくなります。