深度解析索尼的多重曝光HDR技术

2023-11-16

1,什么是 HDR
HDR 的英文全称为 High Dynamic Range,意思就是“高动态范围”。
其“高”之程度是相对于以前的 SDR(标准动态范围)而言,那么这个“动态范围”又是啥呢?,这个词所代表的,就是图像所能清晰呈现之明暗差别。
所以 HDR 的实际意义就是,图像能以更高质量同时显示画面的亮部和暗部。
这样,用户拍照的时候就能化身为“神笔马良”,借助手机相机镜头(画布),用所调配之丰富色彩的颜料(HDR传感器),“画”出最美最真实的图像。
当然,HDR 的实现也依赖于显示设备——毕竟能拍出来但看不出来也白搭,所以在 HDR 显示器越来越强的今天,HDR 传感器技术也变得越来越重要。
但是,由于智能手机的内部空间限制,手机CIS的 HDR 能力要明显弱于数码单反。
毕竟单反传感器那动辄3微米或更高的像素尺寸,以及动辄14位或更高级的 ADC(模数转换器),在动态范围方面可以说是能将手机CIS吊起来打了。
那么,在满阱容量和电路规格两方面被单反CIS碾压的手机CIS,该怎么提高 HDR 能力呢?,2,如何提高动态范围
深度解析索尼的多重曝光HDR技术 (https://ic.work/) 传感器 第1张
上图所示,即为动态范围的三个计算式。其中第一个代表的是最大信号量和最小信号量的比值,其所代表的意思可由第二个计算式解释。
第二个计算式所代表的,是 FWC(满阱容量)与 TN(暂态噪声)的比值,这里面的满阱容量代表单像素的最大电荷存储量,而暂态噪声则代表光电转换过程中出现的数值波动。
和第一个计算式所遇到的困境一样,在像素尺寸上手机CIS与单反传感器完全没法比,相对应的就是满阱容量被单反传感器碾压。
深度解析索尼的多重曝光HDR技术 (https://ic.work/) 传感器 第2张
如上图所示,绿色部分标注 noise 的就是噪声之源——在光子转换为电子以及电子传输到 ADC 这两个过程中都会产生噪声,而暂态噪声就是这些噪声之和。
实际上第三个计算式所代表的正是这个意思,其中分母项分别标注 Quant 和 Readout 的字母N,便分别是光量子转换为电子的噪声与信号读出的噪声之意。
通过这三个计算式可以看出,要提高动态范围,就得提高满阱容量,或者减少暂态噪声。要达到这些目的,就得改变像素结构,以及改进电路设计。
落到实处,该怎么实现呢?单反上那套平面堆料之做法肯定是行不通的,毕竟整部手机的内部空间才多大。所以一般都是通过技术的进步,来改造像素的结构并改进电路设计。
深度解析索尼的多重曝光HDR技术 (https://ic.work/) 传感器 第3张
例如从前照式演进为背照式,再推进到堆栈式,直至索尼最新的双层晶体管技术。这些不断演进的CIS结构技术,不仅能够提高满阱容量,还能减少读出电路的噪声。
至于光电转换噪声方面的努力,最重要的就是 DTI(深槽隔离)技术,其能将每个像素隔离,以克服光串扰;同时还能促进像素纵深的扩展,从而提高满阱容量。
当然,在动态范围方面被单反CIS碾压的手机CIS,单靠以上这些努力是不够的——那些形形色色的 HDR 技术下面就该上场了。
深度解析索尼的多重曝光HDR技术 (https://ic.work/) 传感器 第4张
3,早期 HDR 技术
基础技术方面的突破完成之后,最终就轮到 HDR 技术登场了。最早被普及的 HDR 技术,就是最简单的不同曝光时间图像之多帧合成——Multi-frame HDR(多帧异曝光HDR)。
首先引入这个 HDR 技术的,是2011年发布的苹果 iPhone4S 所搭载之IMX145,这就是 iPhone4S 的传奇之处——开创性地引入“手机计算摄影”概念!
不过由于当时使用的还是背照式技术,所以合成 HDR 图像的过程都是手机芯片代劳,另外曝光时间引起的“运动伪影”也是绕不过去之难题(例如下图的“八条马腿”)。
于是,索尼便推出了 BME-HDR 技术,并由2012年的公版旗舰IMX135首发。
这个技术的全称为 Binning Multiplexed Exposure(像素合并多重曝光),技术原理如下图所示。就是通过合并同时进行长、短曝光的两行,从而获得高动态范围之图像。
而之所以要每两行像素为一组,则是因为 Bayer 排列的RGGB滤镜需要占用两行。
此外,由于这次的IMX135首开堆栈式技术之先河,从而让CIS的电路层集成了图像处理器——这便是硬件级HDR的基础;这不仅能更快生成HDR图片,还能实现HDR录像。
但是,BME 的缺点也很明显,那就是最终图像的分辨率会直接减半。当时正是追求高像素的年代,这能忍?而且其图像也不够自然。
于是,后面大法又推出了 SME-HDR 技术,其全称为 Spatially Multiplexed Exposure(空间多重曝光),该技术由2014年发布的公版旗舰IMX214首发。
如下图所示,通过“Z字形”的曝光阵列,将长、短曝光之图像融合在两行范围之内,从而将分辨率损失压到了20%的可接受水平。随着大法持续地在手机端“飚像素”,2018年 Quad Bayer 排列开始流行,至此因其而生的 QBC HDR 技术也迎来了普及时刻。
这个HDR技术由2017年发布的,索尼旗舰级安防传感器IMX294首发,其利用 Quad Bayer 排列中四个同色像素聚在一起的特性,直接实现了片上HDR!
如下图所示,通过每个对角线一组的曝光策略,每组同色四像素便能输出分别对应长、短曝光的两组图像,融合之后便能得到一张HDR图像。
深度解析索尼的多重曝光HDR技术 (https://ic.work/) 传感器 第5张
4,在用 HDR 技术
QBC HDR 技术可以说是 SME-HDR 技术的完美迭代,其优点除了速度快之外,效果还很好,所以非常适合应用在视频拍摄中。
但是,随着 Quad Bayer 技术的不断发展,更复杂的 QBC 3-HDR 技术后面也被开发了出来。
如下图所示,通过在同色四像素内分别施以三重曝光,其中 S、M、L 分别代表短、中、长曝光,融合后便可获得动态范围更广的HDR图像。
深度解析索尼的多重曝光HDR技术 (https://ic.work/) 传感器 第6张
虽然 QBC 3-HDR 技术确实牛,能够实现等同于肉眼所见的动态范围,但其与 SME-HDR 一样皆无法解决“运动伪影”问题(多重曝光所致)。
于是,索尼又研究出了 DOL-HDR 技术。这个 DOL 技术不仅没有 BME 那损失分辨率和图像不自然的两大缺点,还大幅改善了“运动伪影”问题!但由于技术难度比较大,这项源于2018年的技术,到了2020年才由IMX766首发。
DOL 是 Digital Overlap(数字重叠)的简称,具体工作原理如下图所示——能够利用滚动电子快门的特点,让曝光与读出交织进行从而实现“准同时”曝光。
深度解析索尼的多重曝光HDR技术 (https://ic.work/) 传感器 第7张
具体展开来说的话,就是以往的多帧 HDR 在执行一次曝光之后,要先从上到下完整读取出整个画面的数据,才能开始下一次曝光。
而在 DOL-HDR 技术的加持下,每行像素完成读取后,可以立即开始下一次曝光,这样就可以省下等待其它像素完成读取的时间——“准同时”曝光之原理就是这么来的。
和 BME-HDR 技术那样只有长、短两种曝光的,被称作2exp-DOL。至于后面出现的,包含长、中、短三曝光的则被称为3exp-DOL(下图所示)。
总结:
动态范围——要提高这个 HDR 的核心指标,一是提高满阱容量,二为减小暂态噪声。这两方面的实现方式除了CIS结构技术的进步外,还有像素细分工艺和HDR技术的引进。
BME-HDR 技术——索尼史上首个硬件级 HDR 技术,通过单帧长、短曝光合成解决了“运动伪影”问题,但损失了一半的分辨率,可谓是“杀敌一千自损五百”。
SME-HDR 技术——依然是单帧 HDR 技术,但对“运动伪影”问题进行妥协,将长、短曝光通过“Z字形”排列融合于单帧的每行像素之中,从而将像素损失率降低至20%。
深度解析索尼的多重曝光HDR技术 (https://ic.work/) 传感器 第8张
QBC-HDR 技术——引进 Quad Bayer 排列,在四个同色像素组中分别进行长、短曝光并分别合成(SME技术的改良),后面又出现效果更好的长、中、短三重曝光之3-HDR技术。
DOL-HDR 技术——引进全新的“多帧逐行”技术,能将长、短曝光或者长、中、短曝光的多帧图像“准同时”完成,既大幅改善了“运动伪影”问题又获得了优秀的 HDR 效果。
假如单看这些多重曝光的 HDR 技术,那么 DOL 无疑是最优秀的。但随着技术的发展,能够从根本上彻底解决“运动伪影”难题的单曝光 HDR 技术也被研发了出来,而这个更为硬核的HDR技术正是下篇要讲的内容。
深度解析索尼的多重曝光HDR技术 (https://ic.work/) 传感器 第9张

文章推荐

相关推荐