动态范围 传感器 华为P70也要用，15EV高动态范围传感器真的这么香？

华为P70也要用，15EV高动态范围传感器真的这么香？

动态范围，近期手机发布会上常常听到的一个名词，尤其是荣耀Magic6至臻版/RSR保时捷设计发布会上，荣耀强调手机采用了首发LOFIC技术定制传感器H9800，达到15EV超高动态范围，堪比索尼旗舰相机A7S3。跟相机比个高低已是手机发布会常态，动态范围这参数重要么，荣耀15EV这个数字又有没有水分呢？

动态范围（Dynamic Range）即图像传感器所能捕捉并显示出的图像最大明暗范围，很多人把它与胶片时代的宽容度理念作比较，但现在都2024年，直接把动态范围等同宽容度即可。在手机、相机、电影机上衡量动态范围常用单位是EV、Stops，每增加1EV或1Stops，图像光比增加一倍，8EV代表能够显示256：1光比（二八次方比一），15EV增加到32768：1，为了方便理解，大家可以直接把EV等同于Stops。

动态范围测试卡

很显然，动态范围数值越高，越能捕捉大光比场景中的细节，在十多年前相机评测中已经加入了动态范围专项测试，比如说著名评测机构Dxomark就是以Color Depth、Dynamic Range、Low-Light ISO三项指标来衡量画质的高低，在单反时代佳能也因为动态范围得分低于尼康、索尼，一直被指综合画质不如后面二者。

在Dxomark测试数据库中，我们能看到许多相机、手机的测试数据，包括荣耀对比对象索尼A7S3，不过在Dxomark的测试中A7S3最大动态只有13.91EV，比荣耀给出的15EV足足低了一档有多。如果我们继续翻翻A7S3测试数据，会发现在CineD（原cinema5D）视频动态范围测试中，A7S3在ISA12800 SLOG3 UHD 25p设置下，动态范围数值甚至可以达到15.5EV，视频下比静态照片还“高”。

相信看到这里大家会对A7S3动态范围感到疑惑，这相机动态范围到底是多少，动态范围测试是有猫腻么，荣耀所示15EV动态范围是瞎编的么？其实细节在魔鬼当中，动态范围不仅要捕捉还涉及显示，其中噪点（Noise，对应中文是噪声，但是习惯称为噪点）的多少直接影响到显示效果，CineD在制定测试标准时曾表示，电影机动态范围没有一个行业标准，因此在制定测量方式时参考了针对数码相机噪声测量标准ISO-15739：2003，而且给出了基于Patch range、1.0（Low）、0.5（Medium）、0.25（Med-High）、0.5（High）多个不同信噪比的动态范围值，其中Patch range相当于极限值，0.5（Medium）算是动态范围与信噪比的平衡点，知名电影机制造商ARRI标称动态范围时大概就是以这个值作为标准的。

看到这里，相信大家都猜测到荣耀的15EV是如何达到的——取极限值。也许大家会觉得去极限值意义不大，尤其是玩相机的朋友，知道相机动态范围拉到极限值下，噪点简直多到起飞，画面难以接受，但是AI计算智能时代，大家要改变一下想法。

在智能手机中，提升动态范围最显著的方法是HDR拍摄，短时间内拍摄多张不同曝光量的照片，然后合成一张高动态范围照片。但是HDR拍摄问题很多，容易出现蜡像感、画质变差，破坏光比、照片显得很不自然，限制了连拍能力，难以拍摄高速运动的物体，照片非所见即所得，等等。

HDR导致运动物体模糊

而采用高动态范围图像传感器后，即可解决上述问题，与此同时会引入一个新问题——噪点太厉害，手机在使用1英寸传感器后堪比砖头，难以继续增大传感器面积去减少噪点，这时正是AI降噪发挥作用的使用。下图分别是Magic6至臻版RAW原图（DNG）、调整曝光但不降噪的RAW、调整曝光同时进行传统降噪的RAW、调整曝光同时进行AI降噪的RAW对应的转JPG格式照片。

RAW原图（DNG），下为100%裁切

调整曝光但不降噪的RAW，下为100%裁切

调整曝光同时进行传统降噪的RAW，下为100%裁切

调整曝光同时进行AI降噪的RAW，下为100%裁切

得益于高动态范围，我们能够很轻易地保留高光细节的同时调亮暗部细节，但是画面中噪点非常严重，观感非常差。如果此时采用传统降噪方法，在减少噪点同时会降低画面清晰度，而且对饱和度毫无帮助，手表看起来像是黑白一样。再改用了Lightroom的AI降噪后，噪点大幅度减少，清晰度更好，饱和度有了质的提升——能够看到表盘反光带来的彩色纹理。

显而易见AI降噪是能够明显提升高品质传感器的画质的，另一方面，手机硬件也做好了准备。相较于相机，手机分辨率、色深更低，在Lightroom进行AI降噪时明显大幅度少于相机照片耗时，可见所需算力更低，这对于智能手机无疑是一件好事。在硬件部分针对AI降噪优化后，AI降噪照片能做到即拍即有。

而在传感器方面，去年索尼除了推出1/0.98英寸的LYT900外，还推出了LYT800传感器，它基于双层晶体管像素结构，把负责光电转换的光电二极管与控制信号的像素晶体管分离到不同硅片上，位于第一层硅片的光电二极管得以占据原像素晶体管空间，扩大面积，能够将更多光子转换成电子，画质自然有提升，高感也更好。而第二层硅片放置了除了像素晶体管之外的像素晶体管（包含复位晶体管、选择晶体管和放大晶体管），能够实现更强的ADC，用以提升画质，按照索尼官方说法，LYT800是“采用1/1.43英寸规格的高端型号，拥有接近1英寸传感器的高画质输出”。

荣耀Magic6至臻版所用H9800同样是一块“小传感器”（1/1.3英寸），但是使用LOFIC技术，像素边上放了一个高密度电容，用来收纳因为饱和而溢出的电子，其结构有点像是园林设计中常见的多层水池，在小水池（像素）的水（电子）溢出后会自动流入的大水桶（高密度电容），有效提升了满阱电子容纳能力FWC（Full well capacity），进而提供动态范围。照荣耀官方数据，H9800传感器的FWC电子容量由30K左右提升至9倍的270K/Pixel，动态范围提升了3档以上，达到15EV。据说华为P70也会使用基于LOFIC技术豪威传感器，但估计规格会与H9800不同。

结语

AI抠图，AI P路人，这是一些已经出现在智能手机上的AI应用。但是在图像传感器技术革新的当下，AI功能更该应用在底层算法中，以释放传感器画质潜力人，让单帧拍摄变得更强，让手机实现高画质的机关枪式连拍。

港理工团队研发仿生视觉传感器，可实现高达199dB的有效感知范围

豆瓣高分美剧《了不起的麦瑟尔夫人》故事背景为 20 世纪 50、60 年代，女主爸爸是在哥伦比亚大学担任终身教授的数学家，当他得知女儿兼职脱口秀演员时，十分震惊和不解。

几十年后的今天，在中国香港“却有”一位科学家在兼职脱口秀，他就是即将加入华为公司的香港理工大学博士后廖付友。

图 | 论文第一作者廖付友博士表演脱口秀（来源：廖付友）

其研究方向是半导体器件与工艺，2022 年大年初三，廖付友和导师港理工应用物理系教授柴扬，在 Nature Electronics 发了一篇论文。

图 | 相关论文（来源：Nature Electronics）

农历大年初八，Nature 官网以研究亮点（RESEARCH HIGHLIGHT）形式报道了这一工作，其上写道：“适应各种光强度半导体的器件，或可用于自动驾驶汽车和工业生产线。”

图 | Nature 官网研究亮点报道（来源：Nature 官网）

该工作的背景在于，在人类生活环境中，从烈日当空的正午、到伸手不见五指的漆黑夜晚，自然光的强度分布非常广。如何在不同光照条件下准确提取外部环境的信息，是一个基础科学问题，具有非常实际应用的意义。

随着机器视觉的发展、及其在自动驾驶和实时视频分析等领域的应用，高分辨率、高图像捕获速度成为视觉传感器的必备能力，具体体现为良好的稳定性、以及宽感知范围，即在不同光照强度下感知目标的能力。

据悉，地球上自然光强度的分布超过 280dB，因此对于正确感知环境来说，在不同光照下准确捕获图像尤为重要。这就要求光电器件在弱光、以及亮光照明下，必须准确捕捉和感知细节。

目前，市场上主流的硅基 CMOS（互补金属氧化物半导体，Complementary Metal Oxide Semiconductor）图像传感器通常只有 70dB 的感知范围，远低于自然场景的光强变化范围。

为实现较宽的感知范围，此前有学者探索过控制光学孔径、使用液态透镜、调节曝光时间、以及后端去噪算法等方法，但这些方法通常需要复杂的硬件和软件资源。

因此非常有必要在传感器终端发展出一种具有视觉适应功能和宽感知范围的光电器件，从而改善机器视觉的功能、降低硬件复杂性、并提升高图像识别效率。

相比硅基光电探测器，人眼的光接收细胞感知范围比较有限只有 40dB，但是人眼的视觉适应功能让我们可以感知和识别不同光照条件下的各种物体，哪怕是从较暗环境、转换到较亮环境中。

（来源：Nature Electronics）

人眼的视觉适应机制，依赖于每个光接收细胞在不同光照条件下光灵敏度的动态调节，其调节原理是在不同光照条件下，水平细胞控制视锥和视杆细胞之间的转换、以及光色素的产生和消失。

在该工作中，柴扬和团队研发出一种基于底栅光电晶体管阵列的仿生视觉适应传感器。该器件模拟了水平细胞和光接收细胞的结构，具有视觉亮适应和暗适应的功能，有效感知范围达到 199dB。

利用这款传感器，可在不借助大体积光学组件、以及复杂外围电路和后端信号处理的条件下，实现视觉适应功能和宽感知范围。

（来源：Nature Electronics）

柴扬表示，其团队在 5 年前就已开展光电存储器的研究，这种新型器件能将光传感与光信息处理的功能在单一器件中完成。

2018 年，该团队发表了第一篇关于将光传感器与逻辑信息处理集成的论文[2]。随后，在此研究基础上进一步开展，2019 年柴扬等人设计并利用光控阻变随机存储器实现了图像感知和图像预处理的功能[3]。

在 2020 年，他们又率先提出近传感器和传感器内计算的方法[4,5]。人眼视网膜可以感知外界光信号，并根据光照强度自动调节光接收细胞的灵敏度，从而适应不同的背景光强度，这便是视网膜的视觉适应功能。

（来源：Nature Electronics）

例如，去电影院的时候，从明亮大厅走进黑暗电影厅时，刚开始眼前一片漆黑，过段时间后才能看清周围环境，这便是视觉暗适应过程。

而在刚看完电影从电影院走出来后，假如走在阳光下会觉得很刺眼，要等一会才能看清周围的景物，这一过程叫视觉亮适应，这和视觉暗适应过程正好相反。

受到视网膜结构和功能的启发，柴扬开始研究具备视觉适应功能的仿生视觉传感器。

他说，虽然此前也有类似工作的少量报道，但往往只能实现视觉亮适应功能，并不能模拟视网膜的暗适应过程，距离完整的视觉适应功能还有较大距离，最主要原因在于很难让同一个光电器件同时拥有光电增强和光电抑制这两种相反的特性。

为解决这一难题，该团队设计了光电晶体管型的视觉传感器，通过施加不同的栅极电压的来控制器件视觉亮适应和暗适应程度，从而模拟视网膜中光接收细胞和水平细胞的结构和功能，最终制备出仿生视觉适应传感器。

有潜力用于自动驾驶、人脸识别和太空探测

柴扬介绍称，该成果有潜力应用于自动驾驶、人脸识别和太空探测。

在自动驾驶领域当汽车突然进入非常暗或非常亮的环境中时，视觉传感器可根据光照条件在传感端，实现光灵敏度的调节，进而准确感知图像。

这样的好处在于，无需经过后端图像处理器或云端信息处理，大大提升了系统的信息处理效率。

人脸识别也是一个重要应用场景，当室外摄像头工作时，昼夜光强变化范围大，无论是白天的强光还是夜间的黑暗，视觉传感器能根据背景光强度，去调节光灵敏度从而准确识别人脸。

在太空探测领域，太空中或一些星球上的光强分布范围很广，把具有视觉适应功能的宽感知范围视觉传感器应用在探测设备上，除了正常光照条件下的感知外，还可以在极端光照条件下（极弱或者极强光）探测外界环境和识别目标。

这时，假如在机器人中使用具有视觉适应功能的仿生视觉传感器，将进一步提升机器人视觉系统的智能程度。

（来源：Nature Electronics）

对于后续计划，柴扬表示尽管此次展示了仿生视觉适应传感器的概念，并且具有较大的感知范围，但是视觉适应速度也和人眼的适应速度相当，因此要想应用在实际产品中，还有一系列问题需要解决。

柴扬曾表示其目标是“开发未来可广泛应用于半导体行业的器件结构”。该团队的后续计划主要有四方面：其一，进一步提升器件的视觉适应速度，以实现微妙到几十微秒量级；其二，进一步降低器件功耗，把器件现有功耗再降低 10 倍以上；其三，实现更大规模的器件阵列制备，近期目标是 100×100；其四，实现异质集成，将仿生视觉适应传感器和硅基控制电路集成在一起。

（来源：Nature Electronics）

另据悉，该团队的科研成果还曾受到香港特区行政长官林郑月娥的关注。2021 年 7 月，香港特区行政长官林郑月娥前来香港理工大学参观访问，柴扬科研团队通过实物演示和讲解的方式，向特首介绍了仿生视觉适应传感器。听完介绍后，林郑月娥非常感兴趣，并询问了该成果的应用前景和产业化问题，最后鼓励他们做出更多的成果。

图 | 柴扬（左三）向香港特区行政长官林郑月娥（右一）介绍仿生视觉适应传感器（来源：柴扬）

放弃春节休息，大年初一坚持科研

据悉，此次发表发论文项目始于 2020 年，当时香港的新冠疫情非常严重，论文第一作者廖付友冒着疫情逆向而行来到香港加入柴扬团队。

图 | 柴扬团队于 2021 年 4 月在香港太平山顶合影（左一为论文第一作者廖付友博士，左四为论文通讯作者柴扬老师）

在香港隔离结束后，廖付友立马全身心投入研究，在最初几个月，实验进展并不顺利，早期实验方案均以失败告终。团队成员一起反复讨论找出问题所在，重新设计方案之后，一步一步取得新进展。

2021 年农历大年三十，该团队收到了韩国合作方安炯炫（Jong Hyun Ahn）邮寄的最新样品。2021 年农历正月初一到初四春节假期时间，廖付友放弃休假，每天从早上 8 点到晚上 10 点连续测试四天，取得了更多的进展。

柴扬表示，廖付友生性乐观，善于把团队成员揉合在一起，并能与外部合作者有效沟通，为团队起到了不可替代的传帮带的作用。

在科研以外，廖付友兴趣爱好广泛，曾考取 IFBB（International Federation of Bodybuilding and Fitness，国际健美联合会）健身教练证书和IBFA（International Body Resistance And Fitness Training Association，国际身体阻力与体适能训练协会）营养师证书，经常给课题组成员科普健身知识，给团队塑造出强身健体的氛围。

此外如前文所述，廖付友还是深圳某脱口秀俱乐部的兼职演员，擅长将科研生活改编成段子。平日里，他风趣幽默的说话方式给课题组的日常生活带了一些乐趣。

对于未来的职业发展，廖付友表示，博后结束后将会加入上海华为技术有限公司，继续从事半导体器件与工艺方面的研发工作，希望自己这些年的研究经验可以继续在工业界发光发热。

-End-

参考：

1、Liao, F., Zhou, Z., Kim, B.J. et al. Bioinspired in-sensor visual adaptation for accurate perception. Nat Electron (2022). https://doi.org/10.1038/s41928-022-00713-1

2、Advanced Functional Materials，2018, 28, 1800080

3、Nature Nanotechnology, 2019, 14, 776-782

4、Nature，2020,579,32-33;

5、Nature Electronics, 2020, 3, 664-671

相关问答

动态范围(DynamicRange),指一个物理量的最高值和最低值之间的范围,是一个相对性概念,可以用差或比值来进行描述的。在音频领域,指的是音响系统重放时最大...

传感器动态特性取决于以下几个因素:1.传感器的响应时间:传感器能够在多长时间内对输入信号做出反应,并输出相应的结果。响应时间越短,传感器的动态特性越好...

传感器动态特性参数主要是,传感器的灵敏度及工作原理,受外界环境或条件影响,检测的波动随之相应的参数依据。传感器动态特性参数主要是,传感器的灵敏度及工作...

动态特性是指传感器对于随时间变化的输入量的响应特性。只要输入量是时间的函数,则其输出量必将是时间的函数。研究动态特性的标准输入形式有三种,即正弦、阶...

浏览器动态传感器(BrowserDynamicSensor)是一种能够在浏览器中使用的API,可以访问和获取设备的各种传感器数据,比如加速度计、陀螺仪、罗盘等。通过这些传...

传感器时域动态特性主要参数有:线性度、灵敏度、分辨力、迟滞、重复性、漂移等。传感器静态输入、输出关系一般可表示为:y=a0+a1x+a2x2+…+anxn(1-1)传感...

主要包括线性度、灵敏度、迟滞、重复性、漂移等。二、动态特性:动态特性是指检测系统的输入为随时间变化的信号时,系统的输出与输入之间的关系。主要动态特性...

无论何种传感器,作为直接面对测试对象的先锋,必须能够快速、准确、可靠而又经济地实现信息转换的基本要求。传感器的工作范围和量程需要足够大,可以满足相...

约为22.3mmx14.9mm,通常被称为APS-C格式。全画幅相机传感器尺寸为36mmx24mm,与传统的35mm胶片大小相同,因此也被称为全35mm格式。而半画幅相机传感器的尺...

奔驰221轮速传感器的电阻不是一个固定的数值。奔驰221车型的轮速传感器的电阻值是根据具体的车辆配置和传感器型号而定的,不同车型和传感器之间存在差异。因此...