从暗箱到解码：影像的物理铭刻与数字重生（二）

上文我们追溯了相机从光学暗箱到智能终端的发展历程并概览了光线如何一步步转化为存储卡中的数字文件。在那一系列环节中图像信号处理器ISP内部的编码管线尤为关键——它既是对原始光电信号的“显影”又是为高效存储和传输所做的“压缩准备”。下图则展示了这条从传感器原始数据到压缩视频码流的过程1.光线穿过镜头后会投射在CMOS传感器上。传感器表面覆盖着拜耳滤色阵列——由红R、绿G、蓝B、绿G像素交替排布的马赛克图案其中绿色像素的数量是红、蓝像素的两倍。这一设计是由于人眼视网膜中的视锥细胞对绿色波段的光线最为敏感我们感知到的亮度细节也绝大部分来自绿色。因此让绿色像素占比达到50%能以更高的空间分辨率捕捉明暗纹理重建出的画面更符合人眼对清晰度的要求。而此时每个像素仍只捕获一种颜色的亮度输出的原始数据此时只是一张灰阶马赛克图像尚未呈现我们眼中的色彩。图中主体是一个放大的像素剖面周围环绕着覆盖拜耳滤色阵列的像素网格。波浪箭头代表入射光子它们首先通过微透镜将原本可能散落到像素间隙的光线汇聚起来提升进光效率。聚焦后的光线穿过彩色滤光片此处以红色为例只允许特定波段的光子进入下方的光电二极管。在硅衬底中光子通过光电效应激发出电子-空穴对自由电子随即被收集到一个被称为“电荷累积”的势阱中。光越强积累的电子就越多——亮度信息由此被转换为电荷的多少。随后转移栅极开启将这包电子送入浮动扩散节点。这是一个电容极小的区域少量电子就能引起显著电压变化从而将电荷量精确转化为电压信号。接着源极跟随器放大器缓冲该电压增强驱动能力最后经行选择晶体管按序读出。一路虚线信号流将这些模拟电压引向位于像素阵列下方的列ADC模数转换器经过采样与量化最终输出图中原始的数字数据。2.随后信号流进入图像信号处理器ISP模块。第一站Bayer域。这一阶段的数据仍保持着拜耳马赛克的原始形态处理目标是修复传感器层面的硬件缺陷。黑电平校正首先确立“纯黑”的基准——即使完全没有光线传感器也会输出微弱的本底电流必须将其归零。坏点校正检测并修复因制造瑕疵而失效的像素用相邻像素插值填充。镜头阴影校正补偿镜头边缘进光衰减带来的暗角让画面四角亮度与中央一致。降噪模块抑制传感器暗电流和读出电路引入的随机噪声。白平衡增益则根据光源色温调整红、蓝通道的增益系数为后续的色彩还原打下基础。桥梁解马赛克Demosaicing它利用相邻像素的信息将每个像素缺失的两种颜色分量经插值补全数据格式从Bayer转变为RGB。紧接着的色彩校正Color Correction环节则确保颜色真实准确。经此处理后数据变为完整的RGB像素块每个像素都包含R、G、B三个子像素。第二站RGB域。主要处理色彩的精确还原与影调的优化。色彩校正矩阵对传感器光谱响应与人眼色匹配函数之间的差异进行线性补偿确保红色是红色、蓝色是蓝色。自动白平衡持续分析场景中的中性灰区域动态调整色彩平衡。Gamma校正对线性光信号进行非线性映射使其符合显示器或人眼的感知特性在有限的比特深度内更高效地分配暗部与亮部的编码精度。为了让数据更适合压缩和传输RGB数据接着被送入色彩空间转换模块。这里图像被分解为亮度Y和两个色度U、V共三个独立平面形成YUV 4:4:4格式。之所以这样做是因为人眼对亮度细节极其敏感而对颜色细节的感知相对迟钝把亮度和色彩信息分开就能对色彩部分“做减法”。第三站YUV域。主要处理视觉增强与最终的编码前优化。色度子采样削减色度平面的分辨率利用人眼对色彩细节的宽容度实现无损观感的压缩。边缘增强提升图像锐度强化轮廓与纹理。对比度/亮度模块调节整体影调让画面层次分明。3D降噪在空间和时间两个维度上抑制视频序列中的噪点在纹理保留与纯净度之间精细平衡。局部色调映射对高光和阴影区域进行自适应压缩或提亮在限制动态范围的显示设备上呈现更丰富的明暗层次。终点视频编码器以H.265/HEVC为例还有H264等对YUV 4:2:0数据进行压缩。它借助帧内预测、帧间预测、变换编码和熵编码等一系列技术去除时间与空间上的冗余信息生成更高效的H.265比特流。这个高度压缩的比特流可以存入存储卡或通过网络传输通过解码将其还原为我们所看到的影像。