做图像传感器方案这几年,我经常遇到有人把Quad Bayer和Binning放在一起对比,甚至直接问“我到底该选Quad Bayer还是Binning”。乍一听好像是个选择题,但真正调过CMOS传感器的人都知道,这俩根本不在同一个维度上。Quad Bayer是一种像素排列方式,Binning是一种读出策略,两者经常同时出现在同一颗传感器里,只是在不同工作模式下分别生效。这篇文章我就从实际调试的角度,把这两个概念拆开揉碎讲清楚,再给出几个应用场景下的选型思路,希望对你下一个项目有帮助。
1. 先理清一个常被混淆的逻辑:Quad Bayer是像素排布,Binning是读出策略
很多人第一次看到Quad Bayer这个词,是从手机发布会听到的,比如“5000万像素四合一像素”。厂商的这个宣传把两个概念绑在一起讲,导致大家默认Quad Bayer就等于四合一输出。实际上,Quad Bayer说的是传感器色彩滤波阵列(CFA)的排列方式,Binning说的是传感器在读出时如何处理相邻像素的信号。一个是结构,一个是行为,两者可以组合使用,也可以独立存在。
1.1 Quad Bayer真正改变的是像素排列方式
传统拜耳阵列(Bayer Pattern)的排列原则是:一行RGRG,下一行GBGB,每个像素拥有独立的颜色滤镜,每个2x2子块内有R、G、G、B四个不同颜色。这样排列的好处是,相邻像素各不相同,颜色信息在空间上交错分布,单帧就能同时采到完整RGB信息,缺点也很直接:绿像素只占一半,红蓝各占四分之一,低光下每个像素收集的光子量都不够,信噪比会明显下滑。
Quad Bayer把CFA改成了2x2同色像素簇。具体来说,它的最小重复单元是4x4,其中左上角2x2全是R,右上角2x2全是G,左下角2x2全是G,右下角2x2全是B。也就是说,同样一颗5000万像素的传感器,在物理排布上每4个同色像素共享一块颜色滤镜。这颗传感器在出厂时,CFA是“大学宿舍式的四人间”——四个同颜色像素住一起,看似浪费了色彩分辨率,却为后续的合并输出和重排输出留出了操作空间。
这个设计的好处非常明显:它允许同一颗传感器在两种完全相反的工作模式之间切换。需要高分辨率时,通过重排(Remosaic)算法,把2x2同色像素重新映射成传统拜耳排列,输出5000万像素全分辨率照片;需要弱光画质时,把2x2同色像素合并成一个等效大像素,输出约1250万像素照片。一颗传感器,两种个性,这种灵活性正是Quad Bayer被手机、平板、车载摄像头广泛采用的核心原因。
1.2 Binning不只是一个开关,而是一条完整的数据通路
Binning,中文常叫像素合并,比Quad Bayer出现的早得多。早在传统拜耳阵列时代,工业相机和安防摄像头就有这个功能。它的核心思想是:把相邻像素的信号合在一起读出,用一个物理单元的能量去表征2x2或3x3范围内的平均亮度,从而提升灵敏度。
按合并发生的阶段,Binning可以粗略分成两类。第一类是模拟域Binning,也叫电荷域合并,通常的做法是在像素内部或像素阵列的读出通路里,把多个像素的电荷先汇入同一个浮空扩散节点,再做一次读出。这样做的直接效果是,4个像素的电荷被累加成一份大电荷,相当于一个物理上的大感光面积,读出噪声仍然只有单次读出的量,低光表现提升非常明显。这类Binning在CCD时代就很常用,CMOS传感器里一些型号也支持。
第二类是数字域Binning,更常见于现代CMOS图像传感器。像素各自独立读出、各自经过ADC转换,数字图像上相邻2x2的数值相加取平均,再输出。这类Binning实现灵活,不需要改动模拟电路,但劣势是读出噪声没有被平均掉,而是四份噪声叠加。信号提升4倍,随机噪声只提升2倍,最终信噪比还是有提升,只是不如模拟域合并来得干净。
1.3 为什么两者总被放一起比较:因为它们在“输出什么”这个点上相遇
既然Quad Bayer像素本身是同色四合一排列,那只要把2x2同色像素合并成一个大像素,输出图像就会自然变成预期中的低分辨率高灵敏度画面。这种合并操作,从传感器工作流程角度看,就是一次典型的Binning行为。所以厂商宣传里“四合一”就是把这个过程简化为一个卖点。
同样的道理,如果传感器不支持Binning,Quad Bayer就是个麻烦。你拍一张照片,图像传感器输出的是四同色排布的RAW,边缘会有大量伪彩和错误的颜色间距,正常软件解不开这种RAW,必须经过Remosaic插值。所以实际项目中,Quad Bayer传感器基本都内置了2x2 Binning或者等效的合并输出模式,也就难怪很多人把这两个概念划等号了。但从选型角度,你必须要知道:Quad Bayer决定的是这枚传感器能不能做全分辨率重排,Binning决定的是低光模式能做得多好、有多快。两者的能力边界不同,对ISP和系统的影响也不同。
2. Binning的物理账:从光子到电子的合并,为什么暗光画质提升明显
理解了概念,接下来要把账算清楚。很多人知道Binning能提升暗光性能,但说不清提升多少、是什么条件下的提升、有没有副作用。我建议所有选型工程师都走一遍这条推导,比看任何数据表都管用。
2.1 2x2合并的信噪比账:信号翻4倍,噪声只翻2倍
先设一个最理想的简化模型。假设一个像素在某一光照下产生的光电子数是N,那么它的散粒噪声(Shot Noise)是sqrt(N),这个噪声源于光子到达的随机性,是物理极限。单像素信噪比SNR就是N/sqrt(N) = sqrt(N)。
做2x2合并后,4个像素的光电子全部累加,信号量变成4N。散粒噪声的规律是方差相加:四个像素的散粒噪声方差都是N,总方差是4N,总噪声是sqrt(4N)=2sqrt(N)。合成信噪比就是4N / 2sqrt(N) = 2sqrt(N)。
把两个SNR对比一下,合并后是合并前的2倍。用dB表示,20log10(2)约等于6.02dB。也就是说,在散粒噪声受限的理想情况下,2x2 Binning能让信噪比提升约6dB,这几乎相当于把一档曝光时间或一档光圈加到了传感器上。这也是为什么很多安防摄像头在全彩夜视模式下,实际输出的分辨率远低于标称像素,但画面的确更亮更干净的原因。
但这里有个重要的前提:这个6dB只在散粒噪声主导的情况下成立。实际使用中,如果场景极度低光、读出噪声接近甚至超过散粒噪声,或者传感器存在明显的固定模式噪声(FPN)和像素响应不均匀(PRNU),合并带来的真实收益会打折扣。数字域Binning还会额外引入ADC读出噪声的叠加,虽然随机噪声叠加规律同样符合方差相加,但只要读出链路里有任何系统性偏差,合并后的画质就不会像理论值那么理想。所以数据表上的“暗光SNR提升”仅供参考,实际一定要实测。
下面这段Python代码可以直接用来估算不同光电子数下的信噪比提升,方便你快速判断某个方案值不值得上Binning:
import math def snr_db(N, pixels=4): signal = N * pixels shot_noise = math.sqrt(signal) snr = signal / shot_noise return 20 * math.log10(snr) # 对比不同光电子数下,单像素与4像素合并的SNR for N in [5, 10, 50, 100, 500]: print(f"N={N:5.0f} e- | 单像素SNR={snr_db(N, 1):6.2f} dB | 合并SNR={snr_db(N, 4):6.2f} dB " f"| 提升={snr_db(N, 4) - snr_db(N, 1):5.2f} dB")运行结果很直观:无论N是多少,合并后的SNR都刚好比合并前高6dB。只要你的目标场景处于散粒噪声主导区,这个理论值就是可靠的。
2.2 模拟域合并和数字域合并的差异:噪声处理不在同一层次
刚才提到模拟Binning和数字Binning,实操中对画质影响差异很大。我举个真实调过的项目例子:一颗200万像素的安防传感器,原生像素尺寸1.45μm,支持2x2模拟合并,合并后等效2.9μm像素,输出50万像素。在0.1 lux的光照下,模拟合并模式能把画面主体轮廓看得很清楚,噪点虽有但颗粒感均匀,没有明显横向条纹。同样场景下,如果用数字2x2 binning,信号量提升一样,但读出噪声处理不如模拟合并干净,等亮度的画面上会看到更多的高频噪声点,尤其暗部区域更明显。
原因在于模拟合并是先把电荷累加再做一次放大和模数转换,等效于放大器的输入信号更大,读出噪声只分摊到4个像素信号上。数字合并则是每颗像素先独立经过放大和ADC,再把4个数值相加,读出噪声、复位噪声、ADC量化误差都是4份叠加。虽然随机噪声符合平方和关系,但如果传感器本身的读出噪声偏大,数字合并的收益就会被稀释。所以,如果项目里有极低照度场景,优先找支持模拟域Binning的传感器;如果只是通用场景,数字Binning的灵活性和成本优势可能更合适。
2.3 动态范围的额外收益和重排的代价
除了信噪比,Binning还有一个容易忽略的福利:动态范围。合并后等效像素面积变大,满阱电荷量也会相应变大。比如原像素满阱4000e-,2x2合并后满阱可以到16000e-(理想情况下),同一场景下,高光区域不容易提前饱和,能容纳更大的信号摆幅,这让暗部和亮部能同时保留更多层次。这也是为什么很多传感器的HDR模式喜欢结合合并输出一起用。
不过,Quad Bayer传感器的全分辨率输出并不免费。它需要经过Remosaic重排算法,把2x2同色像素“拆回”拜耳排列。这个过程很依赖插值算法,如果插值不当,画面边缘会出现方向性伪彩,尤其在灰阶纹理和细密线条区域,比如毛衣纹路、百叶窗、远处铁丝网,肉眼很容易看出紫边或彩点。我调试过一台预研机,Remosaic模式下拍黑白色卡,RGB通道不一致导致灰卡上出现很明显的粉色条纹,折腾了三四天才用黑电平校准和偏色校正矩阵压下去。
所以选Quad Bayer传感器前,务必问清楚ISP端有没有成熟的Remosaic方案,以及重排后中心与边缘的MTF50值能做到多少。不少平台只是简单做了个色差修正,输出看似正常,一放大截图就露馅。全分辨率重排的解析力打折问题,几乎可以确定,但打折比例差异很大,有的能保持在95%以上,有的只有70%,这个数据只能靠实测。等到了选型阶段,你会后悔没早点把这块纳入测试项。
3. 场景化对比:不同行业应该怎么选
理论讲完,落到实际选型。不同应用场景对图像传感器的诉求差异很大,下面从手机影像、安防监控、车载摄像头、工业机器视觉四个方向谈谈我的理解。
3.1 手机影像:追求“按需切换”的均衡方案
手机行业是Quad Bayer推广最猛的地方。原因很简单:消费者既想要高像素数、能数毛,又想要暗光拍照能看,而物理空间又放不下大底大像元,Quad Bayer成了用一颗传感器同时满足两种需求的最现实的方案。
在手机主摄上,我的选型建议是优先看像素尺寸和满阱电荷量,而不是单纯看像素数。同样5000万像素,0.7μm和1.0μm两种方案的暗光差距肉眼可见。0.7μm像素在合并后等效1.4μm,1.0μm合并后等效2.0μm,后者单片暗光进来的光量更大,信噪比优势明显。手机上还有超广角和潜望长焦,超广角建议选约4000万到5000万像素、阵列较小的传感器,因为超广角更多是记录大场景和大动态范围,过度追求像素意义不大;潜望长焦反而可以选像素高一点的,因为长焦适合数码裁剪,合并输出后的噪点控制对弱光变焦画质至关重要。
这里最容易踩的坑是“默认像素数”和“实际输出像素数”不一致导致的体验困惑。有些手机默认拍1200万像素,光线不足时切回低分辨率模式,用户缩放对比时会觉得“怎么变糊了”。设计上要把模式切换策略写成“渐进式”:暗到一定程度才切到四合一输出,而不是一进夜景就全用低分辨率,否则长焦和主摄之间的观感断层会很严重。
3.2 安防与车载:暗光与HDR优先,合并是默认项
安防摄像头和车载摄像头是另一个极端。它们对像素数的敏感度远低于对低光照度和运动拖影的敏感度。安防场景,尤其是定焦枪机,晚上依然要输出可用的人脸、车牌、行为轮廓,这时Quad Bayer的合并输出基本就是默认运行状态。实际项目里,我更看重的是传感器在合并模式下的灵敏度覆盖范围,以及帧率是否因为在2x2合并时通过降低行周期而得到提升。
车载应用里,除了低光,还强调高动态范围。车道上的隧道出入口、夜间对向大灯、树荫与强烈顺光并存,这些都容易过曝。选型时建议关注传感器是否有单帧多曝光HDR能力,Quad Bayer像素在这类传感器中越来越常见,因为合并模式天然提高了暗部灵敏度,配合长中短曝光合成,整个场景的HDR表现会更自然。有一点需要特别提醒:车载系统在HDR合成时,如果曝光帧之间发生运动,容易出现重影,要确认ISP端有没有可靠的动态对齐和去重影方案,这块翻车的案例不少。
3.3 工业与机器视觉:分辨率和一致性说话
工业检测和机器视觉的选型逻辑又不一样。这类场景通常光照可控,不太依赖Binning去补灵敏度,反而更看重整张图像的一致性、畸变控制、像元响应均匀性,以及高速读出能力。如果产线上需要抓取极细的裂纹、划痕或微小缺陷,建议优先选择大靶面、原生高分辨率、像素尺寸不太小的传感器,必要时用软件层面的Binning做快速预扫描,再用全分辨率模式精拍。
还需要考虑的是帧率带宽。很多高速检测要求每秒30帧以上的全分辨率输出,这需要传感器支持高带宽接口,比如MIPI CSI-2多通道或SLVS-EC。开了Binning虽然输出像素减少、接口压力下降,但代价是细节丢失,有些表面缺陷恰恰就藏在细节里。另外,工业环境温度变化大,Binning合并后暗电流也会累加,长时间运行画面容易出现暗角或亮度偏移,最好在标定阶段做一次多点温度的黑电平补偿。
| 应用场景 | 优先指标 | 常见像素方案 | 是否推荐开启Binning | 核心注意事项 |
|---|---|---|---|---|
| 手机主摄 | 画质、解析力、夜景 | 5000万级Quad Bayer | 按需切换 | Remosaic路径要成熟,模式切换要平滑 |
| 安防定焦 | 灵敏度、动态范围 | 500万/800万级四合一或原生大像元 | 默认开启 | 低光噪声形态、宽动态算法适配 |
| 车载前视 | HDR、运动抗拖影 | 300万-800万级 | 视平台能力开启 | 防鬼影、暗部与亮部均衡 |
| 工业检测 | 解析力、一致性 | 原生高分辨率高帧率 | 仅在预扫描阶段使用 | 细节丢失风险、温度漂移校准 |
4. 选型决策的四个实用步骤
每个项目都有自己的特殊性,但选型逻辑是有共性的。我这里总结四步走,适合大多数需要评估Quad Bayer或Binning能力的项目。
4.1 第一步:列出输出目标与光线预算
选型第一步不是看芯片规格书,而是把最终使用场景写清楚。你需要回答几个问题:最终输出给用户或算法的是RAW还是YUV?目标分辨率是多少?最暗环境下照度大概多少?画面里要求能看到多小的目标?
这些指标决定了你可接受的最小像素尺寸。比如你要求夜间0.1 lux环境下依然能识别5米外的人脸,合并后的等效像元尺寸最好在1.5μm以上,一定小于1.4μm像素就别碰了。有了光线预算后,再倒推传感器增益、快门时间、镜头光圈,可以快速缩小候选范围。
4.2 第二步:评估合并模式的“副作用”
Binning不是白白送的性能,它会把一些隐藏问题放大。最典型的是坏点,一个亮点坏像素在合并后会被放大成一个大亮点,而且不同位置的坏点合并后形态各异;其次是暗电流不均,合并后暗部会出现块状亮度差异,这种伪纹理在黑色背景场景里很显眼;还有CFA串扰,Quad Bayer因为同色像素紧挨着,电学串扰会比传统拜耳更明显,极端角度光照射下会出现色偏。
所以我建议在评估阶段就抓几颗样片,在暗房用均匀光源拍灰色板,分别输出单像素模式和合并模式,计算FPN和PRNU,肉眼还要看有没有明显mura。实测数据比规格书里写的“Binning模式暗电流”来得真实得多。
4.3 第三步:把ISP和接口带宽拉进来一起算
传感器选得再好,ISP跟不上一样白搭。Quad Bayer全分辨率输出模式下,RAW数据量是极大的。以5000万像素RGB Bayer编码10bit为例,一帧RAW约50MB,30fps就是1.5GB/s的数据流,这对接口和ISP的管线吞吐都是巨大考验。如果没有对应的硬件Remosaic单元,纯软件重排的算力开销会让你整个模组发热量上升,出图延迟也会明显增加。
我的经验是,先列出下列三项再选传感器:传感器支持的最大输出模式、接口型号与lane数、后端ISP在对应分辨率下的帧率余量。三者必须互相匹配。如果接口带宽吃紧,有几种缓解方案:开Binning输出降低分辨率、用RAW压缩、降低帧率,但这都会影响体验,最好还是选择带宽余量充足的组合。
4.4 第四步:用标准测试图验证,而不是肉眼看样张
最后一步是实测。室内看样张只能给你一个模糊的感觉,不能给你可复现的结论。我建议准备这几样东西:24色色卡、ISO 12233分辨率测试卡、灰阶卡、以及一个可控亮度的积分球或灯箱。用同一镜头、同一焦距、同一白平衡,在不同照度下分别拍摄全分辨率、合并模式、开启Remosaic和关闭Remosaic的样张,然后用Imatest或专用软件计算MTF50、SNR和动态范围。
实际测试中,我经常遇到规格书上标称“Binning模式帧率30fps,全分辨率帧率10fps”的传感器,但开合并后噪声形态反而比全分辨率重采样更差的情况。所以优化输出策略,不一定非得走传感器内Binning,也可以全分辨率输出后在ISP里做数字重采样。两种方式殊途同归,但适用条件不同,一定要用实测数据说话。
5. 高频问题与排查速查
做图像传感器这几年,我在Binning和Quad Bayer相关项目里踩过不少坑,下面把最常遇到的现象和排查思路整理成表,算是给大家的一个避坑参考。
| 现象 | 可能原因 | 排查方向 |
|---|---|---|
| 合并模式出现块状亮斑 | 坏点或暗电流不均被放大 | 拍全黑帧检查黑电平、做坏点校正 |
| 低光下噪点颗粒粗糙不细腻 | 数字Binning叠加了多次读出噪声 | 查到传感器是否支持模拟域合并,切换模式对比 |
| Remosaic后边缘伪彩严重 | 彩色插值算法不够好或CFA校准不准确 | 跑黑白灰阶图,逐通道校准黑电平与CCM |
| 高光区域色偏或过曝 | 合并后满阱增大但HDR曝光策略未调整 | 检查HDR三段曝光时长和增益参数 |
| 开启Binning后帧率没有上升 | 传感器行周期未缩短或接口输出未变 | 查寄存器配置,确认输出尺寸、blanking和时钟 |
| 暗光人脸肤色偏绿或偏紫 | Quad Bayer串扰或白平衡增益异常 | 检查光学校准数据,调黑白平衡矩阵 |
| 数码变焦后画质明显劣化 | 全分辨率输出能力不足,裁切像素数不够 | 换高像素传感器,或开启多帧超分 |
除了表格,还有两个经验值得单独提。一是温度对暗电流的影响被很多人低估。在室外密闭的枪机外壳里,传感器温度能比实验室高十几度甚至二十度,暗电流会翻倍,合并模式下的暗部均匀性会肉眼可见地变差。项目里最好在高温环境下跑一次24小时长测,记录不同温度点的黑电平漂移,再写进标定。
二是关于Binning IC和外部处理的问题。某些模组设计里,传感器本身不提供Binning能力,或合并输出模式受限,后端会用FPGA或ISP做数字binning,也就是常说的软件级Binning IC方案。这种方案灵活,不受限于传感器型号,但要注意数据带宽是从传感器到处理芯片的RAW全分辨率,并不是“省带宽”的方案。如果你的模组空间和功耗余量足够,独立做一层预处理也不错;但如果本来就是低功耗产品,我更建议直接在传感器内部解决。
最后再分享一个我在实际调机中的感受:面对Quad Bayer和Binning,没必要神话任何一个。Binning是工具,Quad Bayer是排列,两者组合出来的效果好不好,取决于你的场景是想保细节还是保亮度。只要前期把照度、噪声、带宽这三件事算清楚,大部分坑都可以在设计阶段就避开。