IMX678 datasheet拆解：像素、带宽与暗光成像的工程取舍

简介：面向安全摄像头、计算机视觉与机器人视觉开发者的索尼 IMX678 CMOS 图像传感器数据手册，可用于器件选型、硬件接口评估和驱动开发前的规格核对。压缩包共 1 个 PDF 文件，大小约 592KB，正文围绕 1/1.8 英寸、约 840 万有效像素和 3.0 微米方形像素展开，给出 3840×2160 推荐录像、全像素 60 帧每秒读出，以及数字重叠高动态范围和清晰高动态范围两种模式。文档还说明了 CSI-2 多通道 RAW10/RAW12 输出、模拟与数字增益范围、三路供电和工作温度，并列出全像素扫描、水平垂直合并、窗口裁剪与正常/倒置读出等方式，同时涉及内置时序调整、驱动电路、串行通信、可变速度快门与传感器同步功能。已有 2771 人学习下载，适合在选型对比、寄存器配置、图像质量调试和接口联调时查阅，能帮助读者快速定位关键指标、读出限制与系统设计约束。

1. IMX678 datasheet 摊开来看：1/1.8 英寸、8.40MP 与 60fps 三个数字的份量

IMX678 datasheet 在硬件圈里传得不算热闹，但只要做安防 camera、机器视觉前端或多目设备，就绕不开它：对角线 8.86mm（Type 1/1.8）、840 万有效像素的 CMOS 图像传感器，全像素 3840×2160 能跑 60fps，带数字重叠 HDR 和近红外增强。它不是“参数拉满”的那类发布，更像一次把暗光性能、功耗、接口带宽重新配平的工程决定。

真正值得看的不是单个数字，而是数字之间互相咬合的方式。2.0μm 像素配 1/1.8 英寸，说明它没走“小像素堆分辨率”那条路；模拟 3.3V、数字 1.1V、接口 1.8V 三路供电，说明噪声预算被拆得很细；全像素 60fps 加 RAW12，又给后端链路压上了硬约束。对从业者来说，这份文档的价值在于它把一堆可以照着推演的边界条件摆了出来。下面当成图纸来读。

2. 参数表逐行拆：2.0μm 像素、三路供电和增益链里的真实取舍

拿到一份传感器资料，多数人第一眼看的是分辨率，第二眼看的是帧率，然后就翻到接口那页去了。中间那段像素账、供电账、增益账，往往被跳过——恰恰是这三笔账决定了产品能不能落地。

2.1 像素数字有四层，别只记推荐记录像素

文档里并排列了四个数字：总像素 3856×2200（约 8.48M）、有效像素 3856×2180（约 8.40M）、主动像素 3856×2176（约 8.39M）、推荐记录像素 3840×2160（约 8.29M）。四层数字一路递减，每一层对应一块被“让出去”的面积。

总像素到有效像素差了 20 行，正好对上垂直方向光学黑区 20 行（前置，后置 0 行）。这 20 行不参与成像，是给 ISP 做黑电平跟踪用的基准。有些团队图省事，把整帧直接丢进后端，让算法自己找暗行，结果在高温或长曝光时黑电平漂移，暗部发绿，再回头查就麻烦了。有效到主动差 4 行，主动到推荐记录又各让出 16 行 16 列，这是给边界处理和镜头暗角留的余量。做裁剪窗口（window cropping）时，这四个边界都要在驱动里对齐，不然出来的图会偏一条。

还有一个容易被忽略的点：水平方向和垂直方向的 dummy 都是 0。这意味着没有额外的哑行做时序缓冲，行首行尾的对齐完全靠 H/V 驱动电路和外部同步信号，调试阶段如果 SYNC 极性配错，现象是整幅图整体偏移而不是报错。

2.2 三路供电不是玄学，是噪声预算的分层

模拟 3.3V、数字 1.1V、接口 1.8V，这套组合在同类产品里算标准配置，但“标准”不等于“随便”。模拟域吃 3.3V 是为了像素输出的摆幅和动态范围，数字域压到 1.1V 是为了把逻辑翻转的功耗和噪声压下去，接口 1.8V 则是为了和常见的 CSI-2 接收端电平匹配。

实际布板时三路电源的上电顺序、去耦位置、地平面分割，任何一项糊弄都会直接反映在图像上：模拟电源纹波大，暗场出现横向条纹；数字电源塌陷，读出时序抖动，出现随机坏行。这类问题没有捷径，血泪经验就是模拟电源和数字电源的 LDO 位置尽量靠近封装边缘，中间用磁珠或电感隔开，地平面在传感器正下方保持完整，不要为了走线方便挖断。

封装是 132 pin LGA。LGA 的好处是引脚密度高、寄生小，坏处是焊盘不可见，返修成本高，一次回流焊虚焊就得整板重来。所以首版板子务必留测试点，把三路电源、INCK、复位、串行通信口都引出来，别等到打样回来才发现没法在线量波形。

2.3 读出模式和帧率：60fps 是门槛，不是常态

文档给了两种基本驱动模式：全像素扫描 3840×2160 跑 60fps，水平/垂直 2/2 线合并（binning）到 1920×1080 也跑 60fps，两者都是 CSI-2 接口、10bit ADC 输出。另有窗口裁剪模式和水平/垂直方向正常/反转读出。

反转读出这个功能在安防里很实用，吊装、倒装、镜像取景都能靠它省掉一次后端翻转，省的不只是 CPU，还有一次内存拷贝。但它只翻转读出顺序，不改变光学黑区的位置，做黑电平校正时顺序别跟着一起翻。

帧率这里要泼一盆冷水：60fps 是“最大帧率”，是在特定读出模式、特定位宽、特定接口配置下测出来的上限。真实系统里能不能稳定跑到 60，取决于后端能不能持续吃下这么多数据。把 12bit 全像素 60fps 的瞬时带宽算一遍就明白了：

# 按文档给出的推荐记录像素与帧率估算裸数据带宽 w, h = 3840, 2160 px = w * h # 8_294_400 for bit in (10, 12): for fps in (30, 60): raw = px * bit * fps # bit/s print(f"{bit}bit {fps}fps -> {raw/1e9:.2f} Gbit/s, " f"4lane 每lane {raw/4/1e9:.2f} Gbit/s, " f"2lane 每lane {raw/2/1e9:.2f} Gbit/s")

算出来的量级是：12bit 60fps 约 5.97 Gbit/s，摊到 4 lane 每条约 1.49 Gbit/s，摊到 2 lane 每条约 2.99 Gbit/s；10bit 60fps 约 4.98 Gbit/s，4 lane 每条约 1.24 Gbit/s。2/2 线合并后像素数降到四分之一，10bit 60fps 只有约 1.24 Gbit/s，两 lane 就能轻松吃下。

这组数字的意义在于：如果产品定位是全像素 60fps，2 lane 的走线方案基本不用考虑，4 lane 只是及格线，8 lane 或 4lane×2ch 才有余量；反过来，如果产品实际只用 1080p 60fps，接口可以砍到 2 lane，PCB 层数和接插件成本立刻下来。选型会上最容易翻车的一句话是“反正支持 8 lane，先按 2 lane 画”，等软件跑不动再改板，周期就废了。

2.4 增益链 0~72dB：模拟和数字的分界线在哪

文档里的增益描述很直白：0 dB 到 30 dB 走模拟增益，步进 0.3 dB；30.3 dB 到 72 dB 是“模拟增益 30 dB + 数字增益 0.3 dB 到 42 dB”，同样 0.3 dB 步进。也就是说，超过 30dB 之后，继续加的都是数字增益。

模拟增益在像素读出后、ADC 之前放大，信噪比基本不损失；数字增益在 ADC 之后乘系数，信号和量化噪声一起放大。所以 30dB 这条线是实际可用增益的心理分界，往后每加 6dB，等效于把噪声底抬高一档。安防产品标称“支持 72dB 增益”没问题，但如果 ISP 的降噪没跟上，超过 40dB 之后的画面基本只能做“看得见有东西”，谈不上取证级画质。

配套的是 CDS/PGA 结构，相关双采样把像素复位噪声压掉，PGA 承担增益。调试时的顺序建议是先固定模拟增益找最佳曝光点，再用数字增益补余量，别一上来就拉数字增益，后面再怎么调都救不回来。

3. HDR 与近红外两页：0.2 lux 与 850nm 对比图藏着的差距

参数表之后那两页对比图，很多人扫一眼就过去了。实际上那两张图才是这颗传感器真正的卖点所在，也是选型时最该拿去和竞品对齐的部分。

3.1 Digital overlap HDR 和 Clear HDR 不是一回事

文档列了两种 HDR：数字重叠 HDR（Digital overlap HDR）和 Clear HDR。名字很像，机制完全不同。

数字重叠 HDR 是在传感器内部按不同曝光时间读出多帧，再在数字域叠加合成。好处是动态范围提升明显，代价是合成需要时间，运动物体边缘可能出现合成痕迹；如果后端 ISP 也有 HDR 合成能力，可以选择让传感器只出多曝光 RAW，把合成交给后端，灵活度更高。

Clear HDR 更接近“片上合成”，输出端直接拿到一帧高动态范围的图像。好处是省后端算力、省内存带宽、运动伪影小；代价是可调的余地小，曝光策略被固化在传感器里，遇到特殊光照场景不好微调。

选哪种，取决于产品形态。枪机、球机这类有独立 ISP 且算力宽裕的设备，用数字重叠 HDR 留出后期调优空间更划算；电池供电或算力紧张的紧凑型设备，Clear HDR 省下来的带宽和功耗更实在。这里没有标准答案，只有配平。

提示：HDR 模式下的有效帧率、可用分辨率、增益范围与普通模式并不相同，规格书上的“最大 60fps”不能直接套到 HDR 上。做项目排期时，务必按 HDR 模式单独算一遍带宽和帧率预算。

3.2 0.2 lux 那张图：12dB 的差距意味着什么

文档给了一组对比：同样是 F1.6、曝光 33.3ms 的条件下，对照型号需要 60dB 增益才能达到某个亮度，而 IMX678 只需要 48dB。两张图肉眼看上去亮度相当，差别在噪声。

12dB 换算成倍数约等于 4 倍。也就是说，在同样暗的场景里，IMX678 少用 4 倍增益就能拿到相同亮度。少用的这 4 倍增益，直接体现为噪声底低 12dB——暗部不再是一片彩噪，边缘轮廓能留住。

这是安防场景里最值钱的一段性能。夜里 0.2 lux 的照度，靠红外补光也能拍，但补光距离、功耗、光污染都是成本；能靠灵敏度多榨出 12dB，等于把补光灯的功率预算往下压一档，整机功耗和散热都跟着受益。做产品定义的时候，这 12dB 可以折算成“补光距离缩短多少”或者“同样补光距离下噪声低多少”，比单纯说“高灵敏度”有说服力得多。

3.3 850nm 近红外：安防绕不开的那段光谱

另一组对比图是 850nm 近红外下的成像，两边都是 F1.6、33.3ms、增益 0dB。这个条件的设置很讲究：故意不给增益，纯看量子效率。如果给足增益，任何一颗传感器都能把画面提亮，差距就被掩盖了。

850nm 是安防红外补光的主流波长，隐蔽性好、LED 成本低、和镜头的透射窗口匹配。但硅在 850nm 的吸收系数低，量子效率天然吃亏，靠的就是背照式结构加厚吸收层。文档里提到的第二代背照式像素平台，核心改进就在这里：同样的像素尺寸下，近红外响应和可见光动态范围同时往上抬。

实际影响是：同样功率的红外灯，能照得更远或者照得更匀；或者同样照射距离下，红外灯功率可以往下调，整机功耗和发热跟着降。对做户外枪机的团队，这一段性能经常比可见光灵敏度更影响产品定位。

3.4 多传感器同步与可变快门：多目设备的隐藏刚需

文档里有一句轻描淡写的“同步传感器功能”，对单目产品没什么感觉，对双目、多目、枪球联动就是刚需。

多目设备最怕的是时间基准不统一。两颗传感器各自自由运行，帧与帧之间的相位差会缓慢漂移，做立体匹配或者全景拼接时，每一帧都要重新估计时差，算法复杂度陡增。支持同步之后，主从传感器共用同一个同步信号，帧相位锁死，后续处理可以按固定偏移做，工程量能省一大截。具体同步精度文档没给数值，实际能做到什么程度取决于外部同步信号的抖动和走线等长，这部分要在板上自己验。

可变速度快门的分辨率是 1H 单位，意味着曝光时间可以按行周期微调。对运动物体抓拍来说，这个粒度够用；但要注意这是电子快门，逐行曝光，画面内不同行的时间戳不一样，高速运动场景下会有行间时差。做测速、抓拍类应用时，这个时差要在算法里补偿，不能当成全局曝光来处理。

4. 谁会真的被这份规格改变：四类角色的现实账本

一份 datasheet 摆在不同岗位桌上，看到的完全不是同一件事。硬件看的是封装和电源，驱动看的是时序和接口，算法看的是 RAW 特性和 HDR，产品看的是成本和周期。分开算账，才知道这颗料到底适不适合自己的项目。

4.1 硬件工程师：132 pin LGA 与 8 lane 的布线代价

132 pin LGA 在小尺寸模组里算高密度，焊盘间距小、散热焊盘大，回流焊曲线要单独调。首版最容易出的问题是散热焊盘下藏气泡，X 光一照一片空洞，图像表现是局部发热后暗电流上升、热点噪点。解决办法无非是焊盘分区、开窗排气、控制锡膏厚度，但都需要在打样阶段解决。

CSI-2 的 lane 数直接决定布线难度。4 lane 差分对要做等长、控阻抗，8 lane 就是 8 对差分线叠在一起，层数和过孔数量都上去了。4lane×2ch 的方案更麻烦，两组差分线要各自等长，还要保证两组之间的 skew 可控。加上三路电源、INCK 时钟、串行通信口、复位和同步信号，一块小板子的走线密度会非常紧。

实际经验是：先把接口 lane 数和分辨率、帧率绑死，再倒推层数。如果产品只需要 1080p 60fps，把 lane 砍到 2，四层板就能做完，成本和交期都好看；非要按 4K 60fps 12bit 设计，六层板起步，阻抗测试和眼图调试都要排进计划。

4.2 驱动与嵌入式：lane 组合和 RAW 位宽的排列组合

接口配置是 2 lane / 4 lane / 8 lane / 4lane×2ch 四种，输出格式是 RAW10 / RAW12。这两组参数不是自由组合，得看后端的接收能力。RAW12 每个像素 12bit 打包，带宽比 RAW10 高 20%，但对暗部层次保留更好；RAW10 省带宽，适合高帧率或者多路复用。

配置代码通常长这样，具体寄存器地址以手册为准，这里只表达结构：

/* 示意：接口与输出格式的配置顺序，寄存器名与地址需按手册填写 */ static const struct imx678_if_cfg cfg_4lane_raw12 = { .lane_num = 4, /* 2 / 4 / 8 / 4x2 */ .raw_bits = 12, /* 10 或 12 */ .incksel = INCK_27M, /* 13.5/18/24/27/36/37.125/72/74.25 MHz */ .lane_rate = 0, /* 由 PLL 与链路预算共同决定，需实测确认 */ }; int imx678_stream_on(struct imx678_dev *s) { int ret; ret = imx678_write_seq(s, cfg_4lane_raw12.init_seq); /* 上电时序与 PLL */ if (ret) return ret; ret = imx678_set_if(s, &cfg_4lane_raw12); /* lane 与位宽 */ if (ret) return ret; return imx678_start(s); /* 同步信号就绪后开流 */ }

这段结构里最容易被忽略的是 INCK 的选择。文档给了 8 种输入频率：13.5、18、24、27、36、37.125、72、74.25 MHz。粗看很杂，其实分两类：一类是整数的系统时钟，方便和主控共用晶振；另一类 37.125 和 74.25 明显是视频标准时钟的整数倍关系，方便和专业视频链路对齐。选哪个，取决于板上已经有的时钟源，多引一颗晶振就是多一份 BOM 和一份抖动风险。

调试阶段最典型的失败现象是：开流后收不到数据，或者收到数据但行长度不对。前者先查 lane 数配置和接收端的 lane 映射有没有对上，后者先查 RAW 位宽和打包方式。这两类问题占了接口调试的大半，别一上来就怀疑传感器坏了。

4.3 ISP 与算法：输入变了，处理链也要跟着变

从 10bit 升到 12bit，从单曝光升到 HDR，对 ISP 来说不是换个参数那么简单。

12bit 输入意味着暗部层次更细，直方图分布被拉宽，原来在 10bit 上调好的 Gamma 曲线和色调映射要重调。如果沿用旧参数，现象是画面发灰、对比度不足。HDR 模式下的合成权重也需要重新标定，尤其是数字重叠 HDR 的多曝光帧，长短帧之间的比例关系要和传感器的曝光策略对齐，否则高光边缘会出现一圈奇怪的过渡带。

另一件事是黑电平。20 行光学黑区提供了逐帧的暗电流参考，算法侧应该把它用起来做动态校正，而不是开机标定一次就写死。温度从 25℃ 升到 60℃，暗电流可能翻好几倍，写死的黑电平会导致暗部整体偏色。

近红外场景还要单独考虑色彩还原。850nm 补光下画面本质是单色的，白平衡和色彩矩阵继续按可见光参数跑，出来的颜色会很怪。常规做法是切到黑白模式或者专用夜视参数集，这个切换逻辑最好在驱动层做，别丢给上层应用判断。

4.4 产品与采购：别把规格书当路线图

产品岗看这份文档，最容易犯的错是把“特性列表”当成“产品定位”。文档写得很清楚，应用场景是安防摄像头，一句带过；功能列表里的同步、HDR、可变快门，是为了支撑这个场景服务的。

如果拿着这颗料去做消费级运动相机，会发现几个不匹配：功耗虽低但仍是三路供电，电池方案要重新算；没有提全局快门，运动拍摄要评估行间时差；接口是 CSI-2 的 lane 组合，主控得支持。这些不是缺点，是定位不同。

采购侧要关注的是供货形态和封装一致性。132 pin LGA 的模组化程度、镜头座的匹配、IR-CUT 的机械空间，都要在选型阶段一次性确认。文档里那行“保留随时变更产品与规格的权利”不是玩笑，量产前一定要拿最新版本核对一遍，别拿一年前的 PDF 排产。

5. 五个常见误判：把 datasheet 读成宣传页要付的代价

二手资料传得多了，难免走形。下面这几条是实际项目里反复踩到的坑，有的来自摘要转述，有的来自对参数表的过度乐观。

5.1 误判一：像素尺寸认成 3.0μm

市面上流传的一些中文摘要把像素尺寸写成 3.0μm×3.0μm，而文档里的单元尺寸明确是 2.0μm（H）×2.0μm（V）。

为什么会错：1/1.8 英寸配 840 万像素，按面积一除，很容易心算出 3μm 这个量级，写摘要的人可能根本没翻到器件结构那一页。

怎么看：像素尺寸直接决定镜头选型和景深计算，2.0μm 与 3.0μm 对应的镜头解析力要求差一档。凡是涉及光学设计，一律回到原文的“Unit cell size”那一行核对，别用二手摘要。顺带说一句，2.0μm 配 840 万像素是典型的高密度方案，这也解释了为什么它要靠背照式和近红外增强来补单像素进光量。

5.2 误判二：把“最大帧率”当成全模式可用

文档写“全像素扫描模式最大帧率 12bit 60fps、10bit 60fps”，不少人直接理解成“任何配置下都能 60fps”。

为什么会错：最大帧率是有前提的——全像素、特定接口 lane 数、特定 INCK。换成窗口裁剪、换成 HDR、换成 binning，帧率都会变。binning 模式文档给了 1920×1080@60fps 是明确的，但 HDR 模式下的帧率文档没在这一页列，得查对应的驱动模式表。

怎么看：做系统预算时，按“最坏情况”算，也就是你的产品真正要跑的那个模式下的帧率，而不是表格里的最大值。同时把后端链路余量留够，别让接收端跑在 95% 带宽上，长时间运行的丢帧会很难查。

5.3 误判三：以为 HDR 是免费的全分辨率

“支持 HDR”这五个字很容易被当成一个开关，打开就有更宽的动态范围，其他什么都不变。

为什么会错：HDR 的两种实现都要付出代价。数字重叠 HDR 需要多帧曝光时间，帧率必然下降，运动物体还有合成痕迹；Clear HDR 虽然省算力，但曝光策略固化，可调范围窄。两种模式下的可用分辨率、增益范围也可能和普通模式不同。

怎么看：把 HDR 当成一个独立的工作模式来评估，单独列一张表：分辨率、帧率、增益范围、后端带宽、运动伪影表现。然后拿真实场景（逆光门口、夜间车灯）去测，不要只看实验室的静态图。

5.4 误判四：灵敏度数字跨型号直接比

文档给了灵敏度 Typ. 15886 Digit/lx/s（12bit 转换值），也给了 0.2 lux 场景下和对照型号的增益差。有人直接把不同型号的灵敏度数字列在一起比大小，得出“谁更强”的结论。

为什么会错：灵敏度的测试条件（光源色温、镜头光圈、积分时间、转换位数）不同，数字不可直接比。文档里的 15886 是 12bit 转换值，如果对手型号标的是 10bit 转换值，直接比就是错的。真正可比的是同一条件下的对比图，比如那两张 0.2 lux 和 850nm 的实拍。

怎么看：跨型号比较只认“同条件对比”。文档给的 12dB 增益差是有效信息，因为它明确了 F1.6、33.3ms 这两个前提。凡是没写清测试条件的灵敏度数字，只能当参考，不能当决策依据。

5.5 误判五：把应用列表当成能力边界

文档原文的应用一栏只写了安防摄像头一个场景，但流传的摘要里被扩展成计算机视觉、机器人视觉好几条。

为什么会错：转述的人按“这类传感器通常用在哪”去补全，补得也不能说错，但已经不是文档的表述了。

怎么看：应用场景的扩展本身没问题，但要把“文档声明”和“行业惯例”分开。安防是原厂明确支撑的场景，配套的驱动模式、HDR 策略、近红外优化都是围绕它做的；机器视觉和机器人视觉当然能用，但要自己评估全局快门需求、行间时差、同步精度这些文档没重点覆盖的部分。把惯例当承诺，后面容易出预期落差。

6. 从一颗传感器往后看：安防视觉接下来两三年的走向

把这份文档放到时间轴上看，它透露的不是某一项参数的领先，而是一条技术路线的成熟：背照式结构、近红外增强、片上 HDR、多传感器同步，这几件事被塞进同一颗 1/1.8 英寸的器件里，而且是在 2.0μm 像素尺寸下做到的。

这意味着安防 camera 的性能提升，正在从“堆分辨率”转向“榨光子”。过去几年 4K 普及得很快，但夜间画质始终是短板；现在这条路走到了用像素尺寸换灵敏度的阶段，同样的 1/1.8 英寸靶面，靠背照式和近红外增强把暗光性能往上抬一档，比把分辨率从 4K 推到 8K 对用户更有感知。

对从业者的影响，可以落到三个具体判断上。

第一，接口带宽会成为新的瓶颈。全像素 12bit 60fps 接近 6Gbit/s 的裸数据，4 lane 只是及格线。产品定义阶段如果不把后端 SoC 的 CSI-2 接收能力和内存带宽一起算，样机做出来跑不满帧率是常事。往后走，多目设备会越来越多，两路 4K 60fps 同时进来，带宽和功耗的压力会同时到顶，这时候“能不能砍到 1080p 60fps”就成了产品定义的胜负手。

第二，HDR 会从加分项变成及格项。逆光、车灯、门口强光这些场景，用户已经不接受“高光一片白”。两种 HDR 实现各有取舍，选型时要按产品形态定，而不是看谁家宣传的动态范围数字大。

下面这张表是我自己读这类文档时会逐项核对的清单，按优先级排：

第三，多目同步和近红外会决定细分市场的门槛。双目测距、枪球联动、全景拼接这些形态，拼的不是单颗传感器的参数，而是时间基准的一致性和暗光下的一致性。文档里的同步功能和 850nm 表现，正好卡在这两个点上。

我自己有个习惯，从那以后每次拿到一份新的图像传感器资料，都会先把像素四层账和带宽账手算一遍，再去看对比图——因为参数表会骗人，对比图的测试条件不会。有几次就是靠这一遍手算，在选型会上把“看起来更猛”的方案筛掉了，省下的不是一颗料的钱，是一整轮改板周期。希望帮到你。

本文还有配套的精品资源，点击获取