计算机视觉教程6-1:图解双目视觉系统与立体校正原理

举报
Mr.Winter 发表于 2022/03/22 12:12:02 2022/03/22
【摘要】 从原理到实例,一文详解双目视觉系统和立体校正

在这里插入图片描述


1 理想双目视觉系统


在这里插入图片描述

图1


如图1所示为理想双目视觉系统:==两像机成像面共面行对齐,极点处于无限远处==——像点 ( x 0 , y 0 ) \left( x_0,y_0 \right) 对应的极线为 y = y 0 y=y_0

关于极点、极线方面的内容可以参考之前的博客:计算机视觉系列教程1-4:对极几何基本原理图解

取定左相机坐标系为标准系,由相似关系,物点在左成像面的坐标为

[ L  ⁣  ⁣ x L  ⁣  ⁣  ⁣ y ] = [ f X Z f Y Z ] \left[ \begin{array}{c} ^L\!\!\:x\\ ^L\!\!\:\!\:y\\\end{array} \right] =\left[ \begin{array}{c} f\frac{X}{Z}\\ f\frac{Y}{Z}\\\end{array} \right]

设双目系统的间距为 b x b_x ,则双目系统相机位姿关系为

L R T = [ 1 b x 1 0 1 0 1 ] _{L}^{R}\boldsymbol{T}=\left[ \begin{matrix} 1& & & -b_x\\ & 1& & 0\\ & & 1& 0\\ & & & 1\\\end{matrix} \right]

因此物点在右相机坐标系下为 R  ⁣  ⁣ X = L R T  ⁣ L  ⁣  ⁣  ⁣  ⁣ X = [ X b x Y Z ] T ^R\!\!\:\boldsymbol{X}=_{L}^{R}\boldsymbol{T}\!\:^L\!\!\:\!\!\:\boldsymbol{X}=\left[ \begin{matrix} X-b_x& Y& Z\\\end{matrix} \right] ^T ,同样由相似原理得

[ R  ⁣  ⁣ x R  ⁣  ⁣  ⁣ y ] = [ f X b x Z f Y Z ] \left[ \begin{array}{c} ^R\!\!\:x\\ ^R\!\!\:\!\:y\\\end{array} \right] =\left[ \begin{array}{c} f\frac{X-b_x}{Z}\\ f\frac{Y}{Z}\\\end{array} \right]

由于行对齐,因此同一物点在两成像面上形成==立体视差==

d = L  ⁣  ⁣ x R  ⁣  ⁣ x = f b x Z d=^L\!\!\:x-^R\!\!\:x=f\frac{b_x}{Z}

所谓立体视差就是同一个物点在两个相机成像面上相点之差。

从而可以从成像面坐标还原三维坐标,并转换为像素尺度:

[ X Y Z ] = [ L  ⁣  ⁣ x b x d L  ⁣  ⁣ y b x d f b x d ] = [ ( L  ⁣  ⁣ u L  ⁣  ⁣ c u ) b x d u ( L  ⁣  ⁣ v L  ⁣  ⁣ c v ) b x d u f u b x d u ] \left[ \begin{array}{c} X\\ Y\\ Z\\\end{array} \right] =\left[ \begin{array}{c} ^L\!\!\:x\frac{b_x}{d}\\ ^L\!\!\:y\frac{b_x}{d}\\ f\frac{b_x}{d}\\\end{array} \right] =\left[ \begin{array}{c} \left( ^L\!\!\:u-^L\!\!\:c_u \right) \frac{b_x}{d_u}\\ \left( ^L\!\!\:v-^L\!\!\:c_v \right) \frac{b_x}{d_u}\\ f_u\frac{b_x}{d_u}\\\end{array} \right]

其中 Z Z 即为==图像深度信息==。将上述方程改写为线性形式:

[ X Y Z 1 ] = [ 1 0 0 L  ⁣  ⁣ c u 0 1 0 L  ⁣  ⁣ c v 0 0 0 f u 0 0 1 b x R  ⁣  ⁣ c u L  ⁣  ⁣ c u b x ] [ L  ⁣  ⁣ u L  ⁣  ⁣ v d u 1 ] L  ⁣ X = Q L  ⁣  ⁣ u \left[ \begin{array}{c} X\\ Y\\ Z\\ 1\\\end{array} \right] =\left[ \begin{matrix} 1& 0& 0& -^L\!\!\:c_u\\ 0& 1& 0& -^L\!\!\:c_v\\ 0& 0& 0& f_u\\ 0& 0& \frac{1}{b_x}& \frac{^R\!\!\:c_u-^L\!\!\:c_u}{b_x}\\\end{matrix} \right] \left[ \begin{array}{c} ^L\!\!\:u\\ ^L\!\!\:v\\ d_u\\ 1\\\end{array} \right] \Leftrightarrow { ^L\!\boldsymbol{X}=\boldsymbol{Q}^L\!\!\:\boldsymbol{u}}

其中 Q Q 称为重投影矩阵, R  ⁣  ⁣ c u L  ⁣  ⁣ c u b x \frac{^R\!\!\:c_u-^L\!\!\:c_u}{b_x} 表征了两成像平面中心的像素偏差。

2 立体校正

实际应用时并不能直接使用上面的模型,因为没有任何硬件可以真正达到理想双目系统的条件,如图2所示。

在这里插入图片描述

图2 实际双目系统


将实际双目系统变换为理想双目系统的过程称为==立体校正==,下面详细阐述==Bouguet立体校正算法==,其核心原理是通过像素平面透视变换,使左右图像重投影误差最小,使双目系统最接近理想状态。

定义左右两相机间的变换关系为

L R T = [ R t 0 1 ] _{\boldsymbol{L}}^{\boldsymbol{R}}\boldsymbol{T}=\left[ \begin{matrix} \boldsymbol{R}& \boldsymbol{t}\\ 0& 1\\\end{matrix} \right]

通过旋转矩阵 R R 先将右相机坐标系旋转到与左相机坐标系平行,如图3所示。

在这里插入图片描述

图3


此时双目系统平行但不共面,需要构造一个校准矩阵 R r e c t R_{rect} 将两相机坐标系旋转到同一成像面上,实现共面行对齐校正,如图4所示。

在这里插入图片描述

图4 两相机坐标系共同旋转至共面行对齐


R r e c t = [ r 1 T r 2 T r 3 T ] T \boldsymbol{R}_{rect}=\left[ \begin{matrix} \boldsymbol{r}_{1}^{T}& \boldsymbol{r}_{2}^{T}& \boldsymbol{r}_{3}^{T}\\\end{matrix} \right] ^T ,其构造过程如下:

r 1 r_1 是旋转后坐标系的 x x' 相对于原坐标系三个轴的方向余弦,为保证旋转后两成像面共面,需要将原坐标系 x x 轴旋转至基线 t -t 方向,即

r 1 = t t \boldsymbol{r}_1=\frac{-\boldsymbol{t}}{\left\| \boldsymbol{t} \right\|}

r 2 r_2 r 3 r_3 事实上可以任意给出,只需满足右手系方向即可。一般地,取

{ r 2 = t × [ 0 0 1 ] T t × [ 0 0 1 ] T r 3 = r 1 × r 2 \begin{cases} \boldsymbol{r}_2=\frac{-\boldsymbol{t}\times \left[ \begin{matrix} 0& 0& 1\\\end{matrix} \right] ^T}{\left\| -\boldsymbol{t}\times \left[ \begin{matrix} 0& 0& 1\\\end{matrix} \right] ^T \right\|}\\ \boldsymbol{r}_3=\boldsymbol{r}_1\times \boldsymbol{r}_2\\\end{cases}

使 y y' 垂直于原光轴方向。

综合上述步骤得到

{ R L = R r e c t R R = R r e c t R T \begin{cases} \boldsymbol{R}_L=\boldsymbol{R}_{rect}\\ \boldsymbol{R}_R=\boldsymbol{R}_{rect}\boldsymbol{R}^T\\\end{cases}

接下来进行像素平面的映射。在不考虑畸变的条件下,相机坐标系未旋转时有 u = K x \boldsymbol{u}=\boldsymbol{Kx} ,旋转后则为 u = K x = K R x \boldsymbol{u}'=\boldsymbol{Kx}'=\boldsymbol{KRx} ,因此旋转前后像素坐标的关系为

u = K R K 1 u = H u { \boldsymbol{u}'=\boldsymbol{KRK}^{-1}\boldsymbol{u}=\boldsymbol{Hu}}

像素立体校正后,即可使用理想双目系统模型进行场景几何的估计。

总结Bouguet立体校正算法流程:

(1) 基于相机几何信息 R R t t 构造 R L R_L R R R_R
(2) 基于旋转前后像素坐标关系得到单应性矩阵 H L = K R L K 1 \boldsymbol{H}_L=\boldsymbol{KR}_L\boldsymbol{K}^{-1} H R = K R R K 1 \boldsymbol{H}_R=\boldsymbol{KR}_R\boldsymbol{K}^{-1}
(3) 归一化齐次坐标。映射后 u = [ u v w ] \boldsymbol{u}'=\left[ \begin{matrix} u& v& w\\\end{matrix} \right] ,需归一化为 u = [ u / w v / w 1 ] \boldsymbol{u}'=\left[ \begin{matrix} u/w& v/w& 1\\\end{matrix} \right]

关于单应性矩阵方面的知识可以参考计算机视觉系列教程1-2:单应性矩阵估计

3 实例

在这里插入图片描述


🚀 计算机视觉基础教程说明

章号                                    内容
  0               色彩空间与数字成像
  1               计算机几何基础
  2               图像增强、滤波、金字塔
  3               图像特征提取
  4               图像特征描述
  5               图像特征匹配
  6               立体视觉
  7               项目实战

🔥 更多精彩专栏

👇配套代码 · 优质体验 · 系统知识 请关注👇


【版权声明】本文为华为云社区用户原创内容,未经允许不得转载,如需转载请自行联系原作者进行授权。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。