Sensor
Sensor 内部有大量感光像素,每个像素接收光线后产生与光强相关的电荷信号,再经过读出电路和模数转换器 ADC,得到数字信号。
常见的 Bayer 彩色 Sensor 会在像素上方覆盖彩色滤光片阵列(CFA),例如 RGGB
因此,一个 Bayer RAW 像素通常只记录一种颜色的采样值,而不是完整的 RGB 三个分量。
RAW 并不意味着没有数字化,也不意味着没有经过 Sensor 内部处理。 它通常表示尚未经过完整的彩色图像重建流程的原始图像采样数据。
Sensor主要功能:
- 光电转换:把光变成电信号
这是 Sensor 最根本的功能。
例如,拍摄一张白色物体的照片时,某个像素接收到的光比较强,另一个像素接收到的光比较弱。经过光电转换、读出和数字化,就会得到不同的像素采样值。
对于常见的 Bayer Sensor,每个像素上方有红、绿、蓝滤光片中的一种,因此得到的是 Bayer RAW 采样,而不是完整的 RGB 三通道数据。 - 控制曝光时间
Sensor 可以配置曝光时间,也就是每一帧图像中像素累积光信号的时间。曝光时间较短:图像通常更暗,但运动物体更容易保持清晰。曝光时间较长:图像通常更亮,但运动物体可能产生拖影。
控制增益
当光线不足时,可以调整 Sensor 的模拟增益或数字增益。
模拟增益:在模拟信号链路中放大信号。
数字增益:对数字化后的采样值进行缩放。
增益可以让输出数据变亮,但增益过大也可能放大噪声,导致画面出现颗粒感。- 控制输出分辨率、帧率和数据格式
- 输出图像数据
ISP
去马赛克:Bayer RAW 转成 RGB
Sensor 输出的 Bayer RAW 通常是这样的采样阵列:每个像素只有一个颜色采样值,并不是完整的 RGB。
ISP 的去马赛克模块会根据周围像素的采样值进行插值,估算每个像素缺失的颜色分量。
例如,一个 R 像素原本只有红色采样值,ISP 会结合邻近的 G、B 采样估算其绿色和蓝色分量,最终重建出 RGB 图像。
黑电平校正BLC与坏点校正:
消除传感器读出电路带来的黑电平偏移。
坏点校正:修复异常亮点、暗点或与周围像素明显不一致的采样值。
这些处理可以改善图像底色和局部异常,但具体功能是否存在、如何配置取决于 ISP 硬件和驱动。- 降噪
图像中的噪声可能来自传感器读出电路、光子统计和高增益等因素。
ISP 通常会进行:
RAW 域降噪:在去马赛克之前处理传感器采样数据。
空间降噪:利用周围像素的空间关系降低噪声。
时域降噪:在支持相关功能并有连续帧数据时,利用多帧信息降低噪声。
降噪过强也可能损失细节,所以 ISP 需要在噪声和纹理之间进行权衡。 - 白平衡AWB与颜色校正CCM
为什么室内白纸可能看起来发黄,或者室外阴影中的白色物体看起来发蓝?
因为光源的光谱不同,Sensor 对不同波长的响应也不同。
ISP 通常通过白平衡增益和颜色校正矩阵等方式,使画面中的颜色更接近预期。
这里要区分两个过程:
AWB(自动白平衡)算法根据图像统计信息估计白平衡参数。
ISP 中的硬件模块根据这些参数执行对应的颜色增益或处理。
因此,自动白平衡不一定完全由 ISP 硬件独立完成,往往涉及算法、驱动和 Sensor 控制的协同。 - 伽马、锐化与颜色空间
伽马校正:调整亮度响应和暗部、亮部的视觉表现。
锐化:增强边缘细节。
镜头阴影校正:补偿画面边缘的亮度衰减。
RGB 转 YUV:把图像转换为适合显示、视频编码或后续处理的颜色表示