深度解析索尼的多重曝光HDR技术

1，什么是 HDR
HDR 的英文全称为 High Dynamic Range，意思就是“高动态范围”。
其“高”之程度是相对于以前的 SDR（标准动态范围）而言，那么这个“动态范围”又是啥呢？,这个词所代表的，就是图像所能清晰呈现之明暗差别。
所以 HDR 的实际意义就是，图像能以更高质量同时显示画面的亮部和暗部。
这样，用户拍照的时候就能化身为“神笔马良”，借助手机相机镜头（画布），用所调配之丰富色彩的颜料（HDR传感器），“画”出最美最真实的图像。
当然，HDR 的实现也依赖于显示设备——毕竟能拍出来但看不出来也白搭，所以在 HDR 显示器越来越强的今天，HDR 传感器技术也变得越来越重要。
但是，由于智能手机的内部空间限制，手机CIS的 HDR 能力要明显弱于数码单反。
毕竟单反传感器那动辄3微米或更高的像素尺寸，以及动辄14位或更高级的 ADC（模数转换器），在动态范围方面可以说是能将手机CIS吊起来打了。
那么，在满阱容量和电路规格两方面被单反CIS碾压的手机CIS，该怎么提高 HDR 能力呢？,2，如何提高动态范围

上图所示，即为动态范围的三个计算式。其中第一个代表的是最大信号量和最小信号量的比值，其所代表的意思可由第二个计算式解释。
第二个计算式所代表的，是 FWC（满阱容量）与 TN（暂态噪声）的比值，这里面的满阱容量代表单像素的最大电荷存储量，而暂态噪声则代表光电转换过程中出现的数值波动。
和第一个计算式所遇到的困境一样，在像素尺寸上手机CIS与单反传感器完全没法比，相对应的就是满阱容量被单反传感器碾压。

如上图所示，绿色部分标注 noise 的就是噪声之源——在光子转换为电子以及电子传输到 ADC 这两个过程中都会产生噪声，而暂态噪声就是这些噪声之和。
实际上第三个计算式所代表的正是这个意思，其中分母项分别标注 Quant 和 Readout 的字母N，便分别是光量子转换为电子的噪声与信号读出的噪声之意。
通过这三个计算式可以看出，要提高动态范围，就得提高满阱容量，或者减少暂态噪声。要达到这些目的，就得改变像素结构，以及改进电路设计。
落到实处，该怎么实现呢？单反上那套平面堆料之做法肯定是行不通的，毕竟整部手机的内部空间才多大。所以一般都是通过技术的进步，来改造像素的结构并改进电路设计。

例如从前照式演进为背照式，再推进到堆栈式，直至索尼最新的双层晶体管技术。这些不断演进的CIS结构技术，不仅能够提高满阱容量，还能减少读出电路的噪声。
至于光电转换噪声方面的努力，最重要的就是 DTI（深槽隔离）技术，其能将每个像素隔离，以克服光串扰；同时还能促进像素纵深的扩展，从而提高满阱容量。
当然，在动态范围方面被单反CIS碾压的手机CIS，单靠以上这些努力是不够的——那些形形色色的 HDR 技术下面就该上场了。

3，早期 HDR 技术
基础技术方面的突破完成之后，最终就轮到 HDR 技术登场了。最早被普及的 HDR 技术，就是最简单的不同曝光时间图像之多帧合成——Multi-frame HDR（多帧异曝光HDR）。
首先引入这个 HDR 技术的，是2011年发布的苹果 iPhone4S 所搭载之IMX145，这就是 iPhone4S 的传奇之处——开创性地引入“手机计算摄影”概念！
不过由于当时使用的还是背照式技术，所以合成 HDR 图像的过程都是手机芯片代劳，另外曝光时间引起的“运动伪影”也是绕不过去之难题（例如下图的“八条马腿”）。
于是，索尼便推出了 BME-HDR 技术，并由2012年的公版旗舰IMX135首发。
这个技术的全称为 Binning Multiplexed Exposure（像素合并多重曝光），技术原理如下图所示。就是通过合并同时进行长、短曝光的两行，从而获得高动态范围之图像。
而之所以要每两行像素为一组，则是因为 Bayer 排列的RGGB滤镜需要占用两行。
此外，由于这次的IMX135首开堆栈式技术之先河，从而让CIS的电路层集成了图像处理器——这便是硬件级HDR的基础；这不仅能更快生成HDR图片，还能实现HDR录像。
但是，BME 的缺点也很明显，那就是最终图像的分辨率会直接减半。当时正是追求高像素的年代，这能忍？而且其图像也不够自然。
于是，后面大法又推出了 SME-HDR 技术，其全称为 Spatially Multiplexed Exposure（空间多重曝光），该技术由2014年发布的公版旗舰IMX214首发。
如下图所示，通过“Z字形”的曝光阵列，将长、短曝光之图像融合在两行范围之内，从而将分辨率损失压到了20%的可接受水平。随着大法持续地在手机端“飚像素”，2018年 Quad Bayer 排列开始流行，至此因其而生的 QBC HDR 技术也迎来了普及时刻。
这个HDR技术由2017年发布的，索尼旗舰级安防传感器IMX294首发，其利用 Quad Bayer 排列中四个同色像素聚在一起的特性，直接实现了片上HDR！
如下图所示，通过每个对角线一组的曝光策略，每组同色四像素便能输出分别对应长、短曝光的两组图像，融合之后便能得到一张HDR图像。

4，在用 HDR 技术
QBC HDR 技术可以说是 SME-HDR 技术的完美迭代，其优点除了速度快之外，效果还很好，所以非常适合应用在视频拍摄中。
但是，随着 Quad Bayer 技术的不断发展，更复杂的 QBC 3-HDR 技术后面也被开发了出来。
如下图所示，通过在同色四像素内分别施以三重曝光，其中 S、M、L 分别代表短、中、长曝光，融合后便可获得动态范围更广的HDR图像。

虽然 QBC 3-HDR 技术确实牛，能够实现等同于肉眼所见的动态范围，但其与 SME-HDR 一样皆无法解决“运动伪影”问题（多重曝光所致）。
于是，索尼又研究出了 DOL-HDR 技术。这个 DOL 技术不仅没有 BME 那损失分辨率和图像不自然的两大缺点，还大幅改善了“运动伪影”问题！但由于技术难度比较大，这项源于2018年的技术，到了2020年才由IMX766首发。
DOL 是 Digital Overlap（数字重叠）的简称，具体工作原理如下图所示——能够利用滚动电子快门的特点，让曝光与读出交织进行从而实现“准同时”曝光。

具体展开来说的话，就是以往的多帧 HDR 在执行一次曝光之后，要先从上到下完整读取出整个画面的数据，才能开始下一次曝光。
而在 DOL-HDR 技术的加持下，每行像素完成读取后，可以立即开始下一次曝光，这样就可以省下等待其它像素完成读取的时间——“准同时”曝光之原理就是这么来的。
和 BME-HDR 技术那样只有长、短两种曝光的，被称作2exp-DOL。至于后面出现的，包含长、中、短三曝光的则被称为3exp-DOL（下图所示）。
总结：
动态范围——要提高这个 HDR 的核心指标，一是提高满阱容量，二为减小暂态噪声。这两方面的实现方式除了CIS结构技术的进步外，还有像素细分工艺和HDR技术的引进。
BME-HDR 技术——索尼史上首个硬件级 HDR 技术，通过单帧长、短曝光合成解决了“运动伪影”问题，但损失了一半的分辨率，可谓是“杀敌一千自损五百”。
SME-HDR 技术——依然是单帧 HDR 技术，但对“运动伪影”问题进行妥协，将长、短曝光通过“Z字形”排列融合于单帧的每行像素之中，从而将像素损失率降低至20%。

QBC-HDR 技术——引进 Quad Bayer 排列，在四个同色像素组中分别进行长、短曝光并分别合成（SME技术的改良），后面又出现效果更好的长、中、短三重曝光之3-HDR技术。
DOL-HDR 技术——引进全新的“多帧逐行”技术，能将长、短曝光或者长、中、短曝光的多帧图像“准同时”完成，既大幅改善了“运动伪影”问题又获得了优秀的 HDR 效果。
假如单看这些多重曝光的 HDR 技术，那么 DOL 无疑是最优秀的。但随着技术的发展，能够从根本上彻底解决“运动伪影”难题的单曝光 HDR 技术也被研发了出来，而这个更为硬核的HDR技术正是下篇要讲的内容。