Калибровка камеры / модель камеры с точечным отверстием и разработка 3d-позиции

У меня есть откалиброванная камера, и у меня есть внутренние параметры. У меня также есть внешние параметры относительно точки (мирового происхождения) на плоской поверхности в реальном мире. Эту точку я задал в качестве начала координат в реальном мире [0,0,0] с нормалью [0,0,1].

Из этих внешних параметров я могу определить положение и поворот камеры в трехмерных координатах мировой плоскости, используя это здесь: http://en.wikipedia.org/wiki/Camera_resectioning

Теперь у меня есть вторая точка, из которой я извлек координаты изображения для [x, y]. Как мне теперь получить 3d-положение этой точки в мировой системе координат?

Я думаю, что интуиция заключается в том, что я должен проследить луч, который идет от оптического центра камеры (для которого у меня теперь есть 3D-положение, как описано выше), через плоскость изображения [x, y] камеры, а затем через план моего реального мира, который я определил наверху.

Теперь я могу пересечь трехмерный координатный луч с плоскостью, которую я знаю, и указать точку на этой плоскости. Чего я не понимаю, так это как определить положение и направление 3d, когда оно покидает плоскость изображения через пиксель. Меня смущает трансформация через разные системы координат.

Если у вас есть внешность, то это очень легко. Иметь внешность - это то же самое, что иметь «позу камеры» и то же самое, что иметь гомографию. Проверьте этот пост в stackoverflow.

У вас есть внешность, также называемая позой камеры, которая описывается как перевод и вращение:

$\displaystyle Pose =\begin{bmatrix}R|t \end{bmatrix} = \begin{bmatrix}R_{11} &R_{12}&R_{13}&t_x\\R_{21}&R_{22}&R_{23}&t_y\\R_{31}&R_{32}&R_{33}&t_z \end{bmatrix}$

Вы можете получить гомографию из позы следующим образом:

$\displaystyle H = \frac{1}{t_z}\begin{bmatrix}{R_{1x}}&{R_{2x}}&{t_x}\\{R_{1y}}&{R_{2y}}&{t_y}\\{R_{1z}}&{R_{2z}}&{t_z}\end{bmatrix}$

Затем вы можете проецировать свои 2D точки в соответствующие 3D точки, умножив гомографию на точки:

$p_{2D}=\begin{bmatrix}x &y &1\end{bmatrix}\quad$ Добавить $\quad z=1\quad$ сделать их однородными

$p_{3D}=H*p_{2D}$

$p= p / p(z)\quad$ Нормализовать баллы

У вас есть два варианта, использовать обратную проекцию или проекцию между двумя плоскостями (гомография).

При обратной проекции вы берете псевдообратную матрицу камеры и умножаете результат на ваше однородное представление точки изображения:$P$

$\textbf{C}$$\textbf{X}$$\textbf{V} = \omega\begin{bmatrix}X & Y & Z & 1\end{bmatrix}^T$$\omega=1$

$\Pi = \begin{bmatrix}\pi_1 & \pi_2 & \pi_3 & \pi_4\end{bmatrix}^T, \pi_1X + \pi_2Y + \pi_3Z + \pi_4 = 0$$\textbf{L}(t) = \Pi$$t$

$3\times3$$H$

$\textbf{x}$

$H$

$d$$\textbf{T} = -R\textbf{C}$

Вы не можете знать 3d позицию второй точки. Это может быть любая из точек на луче от вашего центра камеры до бесконечности.

Вы можете сделать следующее:

• Создайте предопределенное трехмерное пространство, которое напоминает реальную сцену
• Получите больше точек изображений под другим углом, используя пересечение лучей под разными углами, вы можете получить аппроксимацию 3d-точки.