1. 相机成像模型基础从针孔到数字图像第一次接触相机成像原理时我被那个神奇的倒立小孔成像实验震撼到了——在暗箱上戳个小孔外面的景物就会在箱内形成倒立的影像。这个公元前就发现的物理现象正是现代计算机视觉的数学基础。不过实际工程中我们需要用更精确的数学模型来描述这个过程。在标准的针孔相机模型中假设光心小孔位于坐标系原点成像平面距离光心为焦距f。当空间点P(X,Y,Z)投影到成像平面时根据相似三角形原理可以得到投影点p(x,y)的坐标关系x fX/Zy fY/Z。这个看似简单的公式却包含了三维到二维投影的核心思想——深度信息Z决定了投影比例。但真实世界的相机远比这复杂。我曾在项目中使用工业相机时发现直接用这个简单模型会导致测量误差。因为实际相机还存在镜头畸变桶形/枕形畸变像素非正方形排列成像平面与理论位置偏移 这些问题都需要通过更完善的数学模型来修正。2. 内参矩阵相机的身份证当我第一次拆解数码相机时发现里面的CMOS传感器其实是由数百万个微小光敏单元组成的阵列。内参矩阵Intrinsic Matrix就是描述这个物理传感器如何将光学信号转换为数字图像的关键参数。一个完整的内参矩阵通常表示为[ fx 0 cx ] [ 0 fy cy ] [ 0 0 1 ]其中各参数的实际意义是fx/fy以像素为单位的焦距反映x/y方向放大率差异cx/cy主点坐标表示光轴与成像平面的交点s倾斜系数现代相机通常为0在无人机视觉定位项目中我们曾用棋盘格标定法获取这些参数。具体操作时要注意采集15-20张不同角度的棋盘格图像使用OpenCV的calibrateCamera函数验证重投影误差建议0.5像素import cv2 objpoints [] # 3D点 imgpoints [] # 2D点 # 准备标定板世界坐标 objp np.zeros((6*9,3), np.float32) objp[:,:2] np.mgrid[0:9,0:6].T.reshape(-1,2) # 检测角点 ret, corners cv2.findChessboardCorners(gray, (9,6), None) if ret: objpoints.append(objp) imgpoints.append(corners) # 计算内参 ret, mtx, dist, rvecs, tvecs cv2.calibrateCamera( objpoints, imgpoints, gray.shape[::-1], None, None)3. 外参矩阵相机在空间中的定位器去年做AR眼镜项目时我们花了大量时间解决一个问题如何让虚拟物体稳定地粘在真实桌面上。这背后的关键就是外参矩阵Extrinsic Matrix它定义了相机坐标系与世界坐标系的转换关系。外参矩阵由旋转矩阵R和平移向量t组成[ R | t ]其中R是3×3正交矩阵t是3×1的平移向量。在SLAM系统中我们常用李代数表示这个变换// 使用Eigen库处理外参 Eigen::Matrix3f R; Eigen::Vector3f t; Eigen::Matrix4f T Eigen::Matrix4f::Identity(); T.block3,3(0,0) R; T.block3,1(0,3) t;实际应用中获取外参有几种典型方法标定物法如棋盘格传感器融合IMU视觉运动恢复结构SFM在机器人导航项目中我们采用AprilTag标记物来持续跟踪外参变化。关键是要注意标记物尺寸需精确测量多个标记可提高鲁棒性建议使用非线性优化细化结果4. 实战应用从矩阵到三维重建去年参与文物数字化项目时我们需要将数百张照片转化为精确的三维模型。这个过程中内外参矩阵就像桥梁连接了二维图像和三维空间。完整的投影流程可分为四步世界坐标 → 相机坐标外参相机坐标 → 归一化坐标畸变校正归一化坐标 → 像素坐标内参用齐次坐标表示为s * [u v 1]^T K * [R|t] * [X Y Z 1]^T在Meshroom开源软件中这个过程的实现很典型特征点检测SIFT/SURF特征匹配FLANN稀疏重建增量式SFM稠密重建PMVS/CMVS我们遇到的坑包括弱纹理区域重建失败 → 需增加标记点镜面反射导致鬼影 → 使用偏振滤镜运动模糊影响匹配 → 提高快门速度5. 参数标定中的常见问题排查在实验室带学生做相机标定时我总结了几个典型错误现象及其解决方法现象1重投影误差过大可能原因标定板移动过快、角点检测不准解决方案改用异步触发拍摄、手动验证角点现象2fx与fy差异异常可能原因标定板未充分倾斜、像素长宽比异常解决方案确保标定板有足够视角变化、检查传感器规格现象3畸变系数溢出可能原因镜头畸变过大、模型选择不当解决方案改用鱼眼模型、增加径向畸变项一个实用的验证方法是拍摄标定板不同位置的图像观察边缘直线是否保持笔直。我们在汽车ADAS标定中还会使用激光跟踪仪进行交叉验证。6. 现代应用中的扩展与变种随着全景相机和事件相机的普及传统模型也需要扩展。在VR全景拼接项目中我们采用球面投影模型θ arctan(x/z) φ arcsin(y/√(x²y²z²))而对于事件相机则需要考虑异步时空模型。最近参与的动态场景重建项目就采用了这种传感器其优势在于微秒级延迟高动态范围140dB vs 传统60dB低功耗仅传输变化像素不过也带来了新挑战传统特征点检测失效 → 改用时空体素方法缺乏直接强度信息 → 结合灰度帧辅助数据稀疏性 → 开发专用深度学习架构