2Dカメラを使用した3D位置推定

カメラ（iPhone）を持っています。画像に3Dコントロールオブジェクトがあり、そのプロパティをよく知っています。（私の制御オブジェクト）。動きのある二次オブジェクトもあります。最終的な目標は、移動するオブジェクトの3D軌道を一定期間確立することです。（追跡）

聞きたいのですが、調べてもらえますか？

• 制御オブジェクトまでの電話の距離（議論のために、カメラが特定の高さにあり、特定の距離がどちらも不明であるが、カメラは既知の表面に垂直であると仮定しましょう）

• 後続の各フレームでオブジェクトを配置できるセカンダリオブジェクト。私の目標は、上で示したように、その3D軌跡を推定することです。

おまけの質問、コントロールオブジェクトまでの電話の距離を設定できるようにシステムを作成できます（ただし、推奨されません）。これは2番目の点で役立ちますか？

オブジェクトに6つの既知の点（既知の3D座標、、）がある場合、オブジェクトの座標系に関連するカメラの位置を計算できます。$X, Y$$Z$

最初にいくつかの基本事項。

均一座標は、ユークリッド座標ベクトル表示で、いわゆるスケールファクターを追加して、均一座標が。独自の計算では、をできるだけ頻繁に維持するようにしてください（つまり、均一な座標を最後の要素で除算することにより、均一座標を「正規化」します：）。図2Dは、その点について、我々はまた、均一なプレゼンテーションを使用することができこれらのこと（思い出してくれるを及びω X = ω [ X Y Z 1 ] T ω = 1 X ← $(X,Y,Z)$$\omega$$\textbf{X} = \omega \begin{bmatrix}X & Y & Z & 1\end{bmatrix}^T$$\omega=1$ X=ω[ X Y 1 ]ω、X、Y$\textbf{X} \leftarrow \frac{\textbf{X}}{\omega}$$\textbf{x} = \omega\begin{bmatrix}X & Y & 1\end{bmatrix}$$\omega, X,Y$$Z$2Dまたは3Dポイントであっても、ポイントごとに異なります）。均質な座標表示により、計算が簡単になります。

カメラ行列は、3Dワールドからイメージセンサーへの投影行列です。$3\times4$

$$\textbf{x} = P\textbf{X}$$

ここで、はイメージセンサー上のポイント（ピクセル単位）で、は投影された3Dポイントです（単位はミリメートルであるとしましょう）。$\textbf{x}$$\textbf{X}$

2つの3つのベクトル間の外積は、次のような行列とベクトルの乗算として定義できることを覚えています。

$$\textbf{v} \times \textbf{u} = \\ ( \textbf{v} )_x \textbf{u} = \\ \begin{bmatrix} 0 & -v_3& v_2 \\ v_3 & 0 & -v_1 \\ -v_2 & v_1 & 0 \end{bmatrix} \textbf{u}$$

クロスプロダクションあることに注意することも役立ちます。$\textbf{v} \times \textbf{v} = \textbf{0}$

ここで、前の方程式から射影行列を解いてみましょう。左側からの射影方程式にの外積行列を乗算します。$P$$\textbf{x}$

$$(\textbf{x})_x\textbf{x} = (\textbf{x})_xP\textbf{X} = \textbf{0}$$

ああ！結果はゼロベクトルでなければなりません。ここで方程式を開くと、次のようになります。

$$\begin{bmatrix} 0 & -w& y \\ w & 0 & -x \\ -y & x & 0 \end{bmatrix} \begin{bmatrix} P_{1,1} & P_{1,2} & P_{1,3} & P_{1,4} \\ P_{2,1} & P_{2,2} & P_{2,3} & P_{2,4} \\ P_{3,1} & P_{3,2} & P_{3,3} & P_{3,4} \end{bmatrix} \textbf{X} \\ = \begin{bmatrix} P_{3,4} W y - P_{2,1} X w - P_{2,2} Y w - P_{2,4} W w + P_{3,1} X y - P_{2,3} Z w + P_{3,2} Y y + P_{3,3} Z y \\ P_{1,4} W w + P_{1,1} X w - P_{3,4} W x + P_{1,2} Y w - P_{3,1} X x + P_{1,3} Z w - P_{3,2} Y x - P_{3,3} Z x \\ P_{2,4} W x + P_{2,1} X x - P_{1,4} W y - P_{1,1} X y + P_{2,2} Y x - P_{1,2} Y y + P_{2,3} Z x - P_{1,3} Z y \end{bmatrix} = \textbf{0}$$

少しのリファクタリングで、射影行列行列の外に取得できます。$P$

$$\tiny \begin{bmatrix} 0 & 0 & 0 & 0 & - X\, w & - Y\, w & - Z\, w & - W\, w & X\, y & Y\, y & Z\, y & W\, y\\ X\, w & Y\, w & Z\, w & W\, w & 0 & 0 & 0 & 0 & - X\, x & - Y\, x & - Z\, x & - W\, x\\ - X\, y & - Y\, y & - Z\, y & - W\, y & X\, x & Y\, x & Z\, x & W\, x & 0 & 0 & 0 & 0 \end{bmatrix} \begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

ここで、は、カメラ行列の番目の行の転置です。前の（大きな）行列方程式の最後の行は、最初の2つの行の線形結合なので、追加の情報はなく、省略できます。$\textbf{P}_n$$n$$P$

私たちがタフを集めることができるように、少し休止します。以前の行列方程式は、既知の3D-> 2D対応ごとに形成する必要があることに注意してください（少なくとも6つ必要です）。

次に、各点の対応関係について、上記の行列の最初の2行を計算し、行列を互いに積み重ねると、新しい行列が得られます。$2\times12$$A$

$$A\begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

12の未知数と（少なくとも）12の方程式があるため、これは解決できます。唯一の問題は、

$$\begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

幸いにも、特異値分解（SVD）を使用して、

$$\| \begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} \|=1$$

方程式を解くには、行列 SVDを計算し、最小の固有値に対応する特異ベクトルを選択します。このベクトルは、行列Aのヌルベクトルであり、カメラ行列解でもあります。をスタック解除してを形成するだけです。$A$$P$$\begin{bmatrix} \textbf{P}_1 & \textbf{P}_2 & \textbf{P}_3 \end{bmatrix}^T$$P$

次に、オブジェクトまでの距離を知りたいと思います。は次のように定義されます。$P$

$$P = K\begin{bmatrix}R & -R\textbf{C}\end{bmatrix}$$

ここで、は、オブジェクトの原点に対するカメラの位置です。 s nullベクトルを計算することにより、から解くことができます。$\textbf{C}$$P$$P$

（ハートレー、ツィッサーマン-コンピュータービジョンの複数ビュージオメトリ）

最後に、2つのフレームのカメラの位置を計算すると、 2つの方程式を解くことで、未知のオブジェクトの位置（またはオブジェクトのいくつかの点の位置）を計算できます。$X$

$$\textbf{x}_1 = P_1 \textbf{X} \\ \textbf{x}_2 = P_2 \textbf{X} \\ $$

これは、カメラマトリックスの解決方法とほぼ同じです：

$$(\textbf{x}_1)_xP_1\textbf{X} = \textbf{0} \\ (\textbf{x}_2)_xP_2\textbf{X} = \textbf{0} \\ $$

等々。