一款具备双可编程转换增益与像素级QCG调制的120dB动态范围CMOS图像传感器，用于单帧自适应QCG-HDR成像

Yi Luo* 与 Shahriar Mirabbasi†
*vivo移动通信有限公司图像传感器技术中心
†不列颠哥伦比亚大学电气与计算机工程系

摘要
目前，单帧高动态范围（HDR）成像技术在高端CMOS图像传感器（CIS）产品中广受青睐。
然而，在应用基于转换增益（CG）的单帧HDR技术（如双转换增益（DCG）HDR成像）时，固定的转换增益比与多次像素读出机制导致CIS面临动态范围增强范围受限与功耗倍率增高的困境。

本文提出一种支持双增益编程与像素级四增益调制的四增益CIS设计。通过集成片上增益编程器（CGP）和像素增益调制器（PCMs），该CIS可实现自适应四增益HDR成像，实现灵活的动态范围扩展。

我们介绍一款640×512像素的CIS原型芯片，实现了双CG编程，并将动态范围扩展至120dB。在60fps帧率下应用自适应QCG-HDR成像时，该图像传感器与配套图像信号处理器（ISP）实现了7.0nJ/帧·像素的功耗指标（FoM）。
所提出的自适应QCG-HDR成像方案为移动成像应用提供了低功耗四增益（LPQG）单帧HDR解决方案。

I. 介绍
目前，HDR成像已成为图像传感器（CIS）产品的必备功能。
在各类HDR技术中，单帧HDR成像技术（如DCG-HDR成像）和三重CG（TCG）HDR成像技术专为旗舰级CIS产品开发，能够提供卓越的成像能力，同时显著避免运动伪影。
对于光通量和功耗受限的移动设备摄像头，单帧HDR成像的核心挑战在于如何在提升动态范围的同时保持更优的功耗效率。

曾有文献提出通过操控像素的光响应特性来扩展动态范围的亚像素架构。然而，这种分像素设计会缩小主像素尺寸，导致量子效率下降。
另一种方法是，横向溢流集成电容（LOFIC）被用作像素的低转换增益（LCG）与电荷存储节点。LOFIC的高电荷存储容量有效提升了电荷增益比，从而扩展了光信号的动态范围。然而，由于相关双采样（CDS）无法应用于LOFIC，图像质量受到严重影响。

另一方面，为解决功耗过高的问题，一些文献分别提出了自适应DCG-HDR成像技术与基于通量-数字转换的编码曝光HDR技术。
但像素内信号存储器和电荷调制器均易受噪声影响。此外，电荷调制器需额外硅片面积及精密制备的曝光编码掩模，这限制了像素尺寸缩减与处理速度的提升。

总体而言，以往所有研究不得不牺牲像素性能以换取更宽的动态范围或更优的功耗效率的设计（与移动影像的追求相悖）。
本文提出一种采用CG可编程QCG像素与PCM技术的CIS设计，同时实现了更宽动态范围扩展与功耗降低。
通过双重CG编程，可灵活调节像素的CG比值与动态范围，以更低噪声捕捉各类场景。
借助像素级QCG调制技术，该CIS实现了自适应QCG-HDR成像，旨在为单帧HDR成像应用提供低功耗QCG HDR成像解决方案。

II. QCG像素与自适应QCG-HDR成像技术
A. 可编程转换增益的QCG像素
当前DCG/TCG像素仅配备两/三个转换增益。本设计通过增加像素内转换增益数量来扩展动态范围。
图1展示了提出的QCG像素结构。
像素内包含四组转换增益（HCG、MCG、LCG、及SLCG），其中LCG和SLCG为可编程CG。通过编程控制LCG和SLCG，可灵活配置像素的CG比例以扩展动态范围。

图1同时展示了像素级QCG调制原理。
每个像素均配备3位像素CG编码（PCC），该编码由PCM在模拟-数字转换器（ADC）生成图像数据前预先确定。像素增益调制器（PCM）根据待捕获场景接收像素预读信号，并自适应确定PCC。
通过此闭环过程，每个像素接收专属PCC，从而选择对应的CG进行相关双采样（CDS）及图像数据采样。

B. 自适应QCG-HDR成像
当采用逐帧像素级QCG调制时，CIS系统便实现了自适应QCG-HDR成像。
如图2所示，像素阵列中的像素根据其接收的像素CG编码（PCC）值，在各自的CG中进行读出。
相较于传统基于CG的多次读出HDR成像技术（需多次像素读出及ADC运算），自适应QCG-HDR成像仅需单次像素读出，并完成单轮全位深度A/D转换。

同时，像素增益调制器（PCM）生成的所有像素CG编码（PCC）值均输出并形成3位PCC映射图。
图像数据与PCC映射图共同传输至配套图像信号处理器（ISP）。基于像素CG编码（PCC）映射图对图像数据进行增益调节后合成HDR图像，ISP图像处理过程中无需进行图像融合。

III. 芯片架构与工作原理
A. 芯片架构与CG编程
图3展示了CIS芯片及其配套ISP芯片的架构。

像素阵列周围分布着辅助模块及两个与CG相关的模块（灰色高亮区域）。
像素单元基于传统DCG主干架构设计，包含三个阀控晶体管（MMCG、MLCG和MSLCG）。

在PCC（由ɸMCG、ɸLCG和ɸSLCG构成）的控制下，阀控晶体管相应地开启/关闭以设定像素的CG值。
例如当ɸMCG被拉低时（PCC = ‘XX0’），像素即处于HCG状态。

同理，通过控制MLCG和MSLCG的导通/截止，可分别启用/禁用像素的可编程LCG和SLCG。
列并行PCM模块接收一行像素预读出信号（ɸPIX(Pre-Readouts)）以确定PCC状态。
确定后，所有PCC值将回传至像素阵列，由列扫描器作为PCC数据扫描输出。

在ADC转换过程中及经过CDS降噪后，像素输出（ɸPIX）通过列并行单斜坡（SS）ADC进行数字化处理，并作为图像数据扫描输出。
PCC数据与图像数据均传输至图像信号处理器（ISP），存储于对应的数据缓冲区中。
而HDR图像是在对图像数据进行增益校正后合成的。

另一方面，像素的可编程电容（LCG和SLCG）由电容编程器和行解码器（CGP）模块配置。
在每列中，像素通过像素间晶体管（MLCG_INT和MSLCG_INT）相互连接。
通过设置像素间控制信号（ɸMCG_EN和ɸSLCG_EN），像素的可编程电容组由此由连接像素的像素内电容之和定义。

图4展示了第N行像素中LCG和SLCG编程的电路示例。
通过在第N+1行和第N+2行配置ɸMCG_EN与ɸSLCG_EN建立像素间连接，第N行像素的LCG与SLCG即由连接像素内部电容、结电容及导线寄生电容（红色高亮部分）的总电容值共同决定。

B. 硅片实现
概念验证原型CIS及其配套ISP芯片分别采用350纳米CIS工艺和65纳米标准CMOS工艺制造。
图5展示了芯片的显微照片。
CIS芯片包含640×512像素阵列，像素间距为6.5μm，整体尺寸为5.5mm×5.8mm（含键合垫）。
ISP芯片晶粒尺寸为3.5mm×3.0mm，设有用于接收CIS芯片PCC数据和图像数据的键合垫。
MCG电容（CCG）采用浮动扩散电容结构，其电容值为CFD的三倍，因此MCG与HCG的电容比为1:4。
列并行SS-ADCs采用10位分辨率设计，并连接至列扫描器。

IV. 实验结果与讨论
制备的CIS原型封装于紧凑型相机模块（CCM）中，并安装在印刷电路板（PCB）上。
测得的像素HCG与MCG值分别为216μV/e-和53μV/e-。

图6展示了当LCG与SLCG编程至最大像素电荷比时测得的像素光响应曲线（PRC）与信噪比曲线。
需注意PRC曲线中每个电荷比变化点决定PCC状态且可进行位移。
通过CG编程，可将像素CG比从SLCG:LCG:MCG:HCG=1:4:8:32调整至SLCG:LCG:MCG:HCG=1:4:32:256（受光电二极管满阱容量限制）。
像素的原生动态范围为 62dB（在 HCG 模式下），可扩展至 120dB。

图7总结了不同成像模式下测得的功耗，以及自适应QCG-HDR成像在不同帧率下的功耗。
尽管应用自适应QCG-HDR成像时PCM和ISP芯片会消耗额外功耗，但测量结果表明相较于QCG-HDR成像可节省约60%的功耗。
在视频拍摄方面，功耗性能指标随帧率变化而波动。
在60帧/秒条件下，采用自适应QCG-HDR成像可实现7.0nJ/帧·像素的功耗性能指标。

图8展示了在场景工作室中采用自适应QCG-HDR成像技术（像素设置为最大CG比）所捕获的图像。
图像传感器（CIS）向图像信号处理器（ISP）芯片输出10位图像数据和3位PCC数据，ISP芯片对图像数据进行增益校正以合成12位HDR图像。

图9（表1）对比了本设计与其他相关方案。
QCG像素单元既不包含像素内信号缓冲器，也不含电荷调制器。
该CIS方案兼具像素级CG编程与逐像素QCG调制能力，可为单帧HDR应用提供可编程动态范围扩展，同时显著提升功耗效率。

V. 结论
本文提出一种基于像素CG编程与像素级QCG调制的CIS设计方案。
通过QCG像素架构设计，结合片上CGM与PCG模块，实现了像素级CG编程与自适应QCG-HDR成像技术，从而提供灵活的动态范围扩展与节能特性。
通过编程控制像素LCG与SLCG，原型CIS实现了高达120dB的动态范围扩展。
在60fps帧率下应用自适应QCG-HDR成像时，实测功耗指标FoM为7.0nJ/帧·像素。
该CIS设计为移动摄像头提供了低功耗高动态范围成像解决方案，优先满足低噪声HDR成像与能效需求。