动态传感器 港理工团队研发动态视觉传感器，实现低延时低功耗的运动识别

港理工团队研发动态视觉传感器，实现低延时低功耗的运动识别

近日，香港理工大学柴扬和华中科技大学何毓辉教授造出一款动态视觉传感器，实现了高级别的动态视觉处理。

图 | 左二为柴扬教授，右一为本次论文第一作者周越博士（来源：资料图）

本次研究结合了动态视觉传感器和传感器内计算，通过充分利用两者的优点，

（来源：Nature Electronics）

这种直接在传感器内进行实时处理和决策的方式，有望用于边缘计算，以及用于那些对延迟高度敏感的场景比如无人驾驶汽车、机器人技术等领域，并能有效节省通信带宽，此外还能增强数据的安全性和隐私性。

那么，相比现有的图像传感器、或互补金属氧化物半导体（CMOS，Complementary Metal Oxide Semiconductor），动态视觉传感器在捕捉动态图像时，在工作原理上有着哪些不同？

据了解，传统相机所基于的标准图像传感器具有固定的帧率，不管像素点的光强是否发生变化，都会在每一帧记录下所有像素的绝对光强，因此会包含大量冗余的视觉数据。

另一方面，较长的曝光时间限制了事件捕获的延迟，导致所捕捉到的高速运动物体图像存在模糊和过曝等问题。

相比之下，受生物视网膜启发的动态视觉传感器（DVS，Dynamic Vision Sensor），可以只针对场景中的相对变化区域作出反应。

对于动态视觉传感器来说，只有在像素点的位置发生光强变化的时候，才会产生脉冲信号从而生成稀疏数据，这样一来就能大大减少数据的冗余量。

动态视觉传感器还具备超高的时间分辨率，能够确保动作信息被完整记录下来。因此，它也能被用于检测场景中的变化，输出稀疏且重要的信息。

（来源：Nature Electronics）

而对于传感器内的脉冲信号来说，它是否也能被反馈给传感器神经元，从而做出相应的调整？

对于这一问题，答案是肯定的。为了执行复杂的计算任务比如动作识别，像素单元需要被扩展到阵列级别，并通过单元之间合适的物理互连，构建成脉冲神经网络（SNN，Spiking Neural Network）。

而每个子像素阵列，在连接之后可以输出神经元。在动态场景中，当像素点的光照强度发生变化时，子像素单元也会产生正负电流脉冲，来对 LIF（leaky integrate and fire）神经元中的电容进行充放电。

一旦电容的积分电压也就是神经元的膜电位，达到神经元的阈值时就会输出脉冲。

据了解，本次研究涉及到了 In-sensor 脉冲神经网络框。那么，它与传统神经网络有何不同？

目前，市面已有的动态传感器在检测光强变化的时候，必须使用光电探测器、电容器、放大器和比较器等复杂的像素电路。

然后，这些模拟信号需要通过模拟数字转换器转化为数字信号，从而被可编程逻辑门阵列标上时间戳，借此产生一系列数字事件比如像素地址、时间信息、光强变化极性等。

这些由模拟数字转换器和可编程逻辑门阵列完成的模拟信号处理步骤，会将动态视觉传感器的时间分辨率限制在几十微秒量级。

而且经过处理之后的数字信号，仍然需要被频繁地传输到基于脉冲的神经形态处理器、或传输到由电子突触构建的脉冲神经网络之中。

数字信号在传感器和处理单元之间的传输，会进一步地把时间分辨率限制在毫秒量级。

相比之下，柴扬课题组于 2020 年提出的近传感器计算和传感器内计算架构 [1]，能把部分计算任务转移到传感器附近或传感器终端。

通过在传感器终端附近或直接在传感器之内进行数据处理和计算，可以有效减少大规模数据的来回传输，从而提高带宽效率和数据处理效率，进而降低计算功耗和延时。

目前，已有研究证实通过在传感器端口进行预处理，比如增强对比度、减小噪声、视觉自适应调节等方法，可以显著提高图像识别效率。

进一步地，通过利用可调节的光响应度来模拟突触权重，用光探测器来构建人工神经网络，可以实现更高级别的人物静态图像识别，从而实现传感器内计算。

在传统人工视觉系统之中，视觉传感器和计算单元在物理空间上是分立的，且存在较远的物理距离。

随着物联网节点数量的迅速增长，传感器终端和计算单元之间交换着大量的冗余数据。假如使用上述方案的话，每个像素都会针对绝对光强值产生对应光电流值。

而对于动作识别等动态场景，往往缺乏事件触发的特性，所以会产生大量冗余的数据。一般来说，外界的视觉信息先被转换成数字形式，再传到计算单元中做进一步处理和计算。

传感器和计算单元之间大量数据的来回传输，最终会导致高延迟和高功耗。因此，如何通过器件原理与结构设计，在单一器件实现信息原位的传感、处理、存储等多功能集成，借此减少数据传输、降低功耗、减少延迟，是一个亟须解决的科学问题。

事实上为了克服以上问题，该团队已经开展了多年研究。如前所述，课题组已于 2020 年率先提出近传感器计算和传感器内计算架构。

通过在传感器终端附近、或直接在传感器内进行数据处理和数据计算，可以有效减少大规模数据的来回传输，从而提高带宽和数据处理的效率，进而降低计算功耗和延时。

同时，他们还利用动态视觉传感器和传感器内计算架构的优点，开发出一款感算融合脉冲神经网络架构，并将其用于动作识别。

此外，他们还设计了一种基于事件驱动的像素单元，它能在发生光强变化的时候，产生可被编程的脉冲信号。

通过调节光电探测器的光响应度，就能有效调节像素单元产生的脉冲信号的幅度，从而模拟不同的突触权重。

对于这种感算融合脉冲神经网络方案来说，它可以实现低于 20 微秒的时间分辨率，并能通过动作识别的方式，针对智能视觉芯片的潜力加以仿真验证。

后来，课题组又开发出能用于图像预处理和动作预处理的新型传感器，通过抑制不必要的噪声或失真，或通过增强进一步处理的特征，从大量原始数据之中记录和提取有用的数据 [2]。

而为了在传感器内实现更高级的处理功能，他们又以生物视网膜为启发开展了本次研究，即研发具有计算功能的动态传感器。

（来源：Nature Electronics）

具备实现大规模感算融合的潜力

香港理工大学博士后周越，是本次动态视觉传感器的主要设计者。他巧妙结合了动态视觉传感器和传感器内计算的优点，实现了感算融合的脉冲神经网络。

而在 2022 年初，课题组关于动态视觉传感器的第一篇相关论文，已经发布在 2022 年微电子器件领域顶级国际会议 IEEE International Electron Devices Meeting（IEDM）上。

在那篇论文之中，周越利用该团队此前研发的二硫化钼光电晶体管阵列，针对单个器件进行表征和电路测试，借此验证了动态视觉传感器设计方案的可行性。

然而，要想使用二硫化钼光电晶体管实现具有计算功能的动态传感器，依然存在如下问题等待解决:

其一，二硫化钼光电晶体管高的动态范围，来源于其光照强度和光电流的非线性关系。当使用这种晶体管来构建神经网络时，会使用到“光电流=光响应度*光照强度”这样一个公式。

在这个公式里：光照强度是输入矢量, 光电流是输出矢量，光响应度是突触权重矩阵。

因此，课题组原则上希望光响应度，不会随着输入量的光照强度发生改变，也就是光响应度和光照强度之间要能够满足线性关系。

其二，对于二硫化钼光电晶体管来说，它需要在不同的栅极偏置之下实现不同的光响应度。在恒定栅压的施加之下，计算功耗开始增大。而且需要额外的内存单元，来储存每个光电晶体管所需的施加栅压。

其三，二硫化钼光电晶体管的响应时间为 10ms，这导致时间分辨率只能限制在毫秒量级。

鉴于上述问题，周越设计了非易失的光电二极管器件。这种光电二极管中的光照强度和光电流的线性关系，使其更适合用来实现感算融合。

而且相比光电晶体管，光电二极管的光伏效应让其光响应速度得到大幅度提升。

进一步地，周越通过采用浮栅层的设计，让电荷可以被长时程地储存在浮栅层。

这样一来，即使在没有外部电压偏置的情况下，也能实现不同的光响应度。相比之下，光电晶体管则需要恒定的施加外部电压。

由此可见，周越所使用的这种方式可以有效减少能耗，同时具有更强的扩展性，在被用于更大神经网络的同时，还能避免出现走线施加外部偏压的风险。

基于此，周越等人制备了基于二硒化钨的浮栅二极管，并对其进行电路级别的光电测试。

华中科技大学何毓辉教授课题组的付嘉炜同学，则负责进行网络级别的动作识别仿真。利用自制的动作数据集，证实本次设计方案具备实现大规模感算融合的潜力。

最终，相关论文以《用于神经网络内传感器的计算机事件驱动视觉传感器》（Computational event-driven vision sensors for in-sensor spiking neural networks）为题发在 Nature Electronics（IF 34.3），周越是第一作者，柴扬和何毓辉担任共同通讯作者 [3]。

图 | 相关论文（来源：Nature Electronics）

力争让传感器阵列与外围电路实现大规模集成

如前所述，本次研究使用了二硒化钨光电探测器，那么它是如何实现可编程的？

对此，课题组表示之所以选用二硒化钨作为沟道材料，是因为其具有比较均衡的能带结构，容易被电场调节为 n 型或者 p 型，从而具有双极性。

另外，二硒化钨作为具有原子级别厚度的半导体，具有较强的光-物质相互作用。

通过对两个分立的背栅分别施加正负电压，即可调节储存在浮栅层 HfO2 的电子数量和空穴数量。

进而诱导沟道二硒化钨左右两个区域的载流子类型和浓度，就能形成具有不同整流效应的 PN 结或 NP 结，从而产生可调节的正负光响应度。

那么，在动态图像识别过程中，基于二硒化钨的响应时间是否可以满足要求？

对于这一问题该团队表示，光的照射会激发电子空穴对的产生，并被二硒化钨构成的 PN 结和 NP 结的内建电场所分开。

因此，即使在零偏压的情况下，基于二硒化钨的 PN 或 NP 结，也会产生自驱动短路光电流 ISC。值得注意的是，该电流具有微秒级别的响应时间。

对于传统计算架构来说，它需要在传感单元和计算单元之间来回传输，这会催生毫秒级别的延迟。

而该课题组的感算融合方案，可以直接在传感器内执行计算，其动作识别的延迟仅局限于二硒化钨的响应时间，故能产生微秒级别的超高分辨率，实现快速动态的识别。

不过，受限于目前的测试设备，当下只能测试微秒级别的时间分辨率，但是本次器件的理论响应速度可以达到纳秒级别。

同时，当前的研究仍然局限于器件层面和较小的 3*3 阵列。未来，柴扬课题组希望进一步扩展，实现系统级别的展示。

另一方面，虽然二维半导体已经取得不错的进展，但是仍然存在均一性和稳定性的问题。

更重要的是，关于二维材料器件和互补金属氧化物半导体工艺的兼容问题仍然需要取得进一步突破。

因此在底层硬件层面：该团队将通过采用目前比较成熟的光电传感器工艺，进行大规模传感器阵列的制备；

而在顶层算法层面，他们将开发适配感算融合架构的算法。

未来，课题组希望能实现传感器阵列与外围电路大规模集成，展示其在实时和数据密集型应用中的优势。

参考资料：

1.Nature,2020, 579, 32-33; Nature Electronics, 2020, 3, 664-671

2.Nature Nanotechnology, 2023, 18, 882-888；Nature Electronics,2022, 5, 84-91

3.Zhou, Y., Fu, J., Chen, Z.et al. Computational event-driven vision sensors for in-sensor spiking neural networks. Nat Electron 6, 870–878 (2023). https://doi.org/10.1038/s41928-023-01055-2

华为P70也要用，15EV高动态范围传感器真的这么香？

动态范围，近期手机发布会上常常听到的一个名词，尤其是荣耀Magic6至臻版/RSR保时捷设计发布会上，荣耀强调手机采用了首发LOFIC技术定制传感器H9800，达到15EV超高动态范围，堪比索尼旗舰相机A7S3。跟相机比个高低已是手机发布会常态，动态范围这参数重要么，荣耀15EV这个数字又有没有水分呢？

动态范围（Dynamic Range）即图像传感器所能捕捉并显示出的图像最大明暗范围，很多人把它与胶片时代的宽容度理念作比较，但现在都2024年，直接把动态范围等同宽容度即可。在手机、相机、电影机上衡量动态范围常用单位是EV、Stops，每增加1EV或1Stops，图像光比增加一倍，8EV代表能够显示256：1光比（二八次方比一），15EV增加到32768：1，为了方便理解，大家可以直接把EV等同于Stops。

动态范围测试卡

很显然，动态范围数值越高，越能捕捉大光比场景中的细节，在十多年前相机评测中已经加入了动态范围专项测试，比如说著名评测机构Dxomark就是以Color Depth、Dynamic Range、Low-Light ISO三项指标来衡量画质的高低，在单反时代佳能也因为动态范围得分低于尼康、索尼，一直被指综合画质不如后面二者。

在Dxomark测试数据库中，我们能看到许多相机、手机的测试数据，包括荣耀对比对象索尼A7S3，不过在Dxomark的测试中A7S3最大动态只有13.91EV，比荣耀给出的15EV足足低了一档有多。如果我们继续翻翻A7S3测试数据，会发现在CineD（原cinema5D）视频动态范围测试中，A7S3在ISA12800 SLOG3 UHD 25p设置下，动态范围数值甚至可以达到15.5EV，视频下比静态照片还“高”。

相信看到这里大家会对A7S3动态范围感到疑惑，这相机动态范围到底是多少，动态范围测试是有猫腻么，荣耀所示15EV动态范围是瞎编的么？其实细节在魔鬼当中，动态范围不仅要捕捉还涉及显示，其中噪点（Noise，对应中文是噪声，但是习惯称为噪点）的多少直接影响到显示效果，CineD在制定测试标准时曾表示，电影机动态范围没有一个行业标准，因此在制定测量方式时参考了针对数码相机噪声测量标准ISO-15739：2003，而且给出了基于Patch range、1.0（Low）、0.5（Medium）、0.25（Med-High）、0.5（High）多个不同信噪比的动态范围值，其中Patch range相当于极限值，0.5（Medium）算是动态范围与信噪比的平衡点，知名电影机制造商ARRI标称动态范围时大概就是以这个值作为标准的。

看到这里，相信大家都猜测到荣耀的15EV是如何达到的——取极限值。也许大家会觉得去极限值意义不大，尤其是玩相机的朋友，知道相机动态范围拉到极限值下，噪点简直多到起飞，画面难以接受，但是AI计算智能时代，大家要改变一下想法。

在智能手机中，提升动态范围最显著的方法是HDR拍摄，短时间内拍摄多张不同曝光量的照片，然后合成一张高动态范围照片。但是HDR拍摄问题很多，容易出现蜡像感、画质变差，破坏光比、照片显得很不自然，限制了连拍能力，难以拍摄高速运动的物体，照片非所见即所得，等等。

HDR导致运动物体模糊

而采用高动态范围图像传感器后，即可解决上述问题，与此同时会引入一个新问题——噪点太厉害，手机在使用1英寸传感器后堪比砖头，难以继续增大传感器面积去减少噪点，这时正是AI降噪发挥作用的使用。下图分别是Magic6至臻版RAW原图（DNG）、调整曝光但不降噪的RAW、调整曝光同时进行传统降噪的RAW、调整曝光同时进行AI降噪的RAW对应的转JPG格式照片。

RAW原图（DNG），下为100%裁切

调整曝光但不降噪的RAW，下为100%裁切

调整曝光同时进行传统降噪的RAW，下为100%裁切

调整曝光同时进行AI降噪的RAW，下为100%裁切

得益于高动态范围，我们能够很轻易地保留高光细节的同时调亮暗部细节，但是画面中噪点非常严重，观感非常差。如果此时采用传统降噪方法，在减少噪点同时会降低画面清晰度，而且对饱和度毫无帮助，手表看起来像是黑白一样。再改用了Lightroom的AI降噪后，噪点大幅度减少，清晰度更好，饱和度有了质的提升——能够看到表盘反光带来的彩色纹理。

显而易见AI降噪是能够明显提升高品质传感器的画质的，另一方面，手机硬件也做好了准备。相较于相机，手机分辨率、色深更低，在Lightroom进行AI降噪时明显大幅度少于相机照片耗时，可见所需算力更低，这对于智能手机无疑是一件好事。在硬件部分针对AI降噪优化后，AI降噪照片能做到即拍即有。

而在传感器方面，去年索尼除了推出1/0.98英寸的LYT900外，还推出了LYT800传感器，它基于双层晶体管像素结构，把负责光电转换的光电二极管与控制信号的像素晶体管分离到不同硅片上，位于第一层硅片的光电二极管得以占据原像素晶体管空间，扩大面积，能够将更多光子转换成电子，画质自然有提升，高感也更好。而第二层硅片放置了除了像素晶体管之外的像素晶体管（包含复位晶体管、选择晶体管和放大晶体管），能够实现更强的ADC，用以提升画质，按照索尼官方说法，LYT800是“采用1/1.43英寸规格的高端型号，拥有接近1英寸传感器的高画质输出”。

荣耀Magic6至臻版所用H9800同样是一块“小传感器”（1/1.3英寸），但是使用LOFIC技术，像素边上放了一个高密度电容，用来收纳因为饱和而溢出的电子，其结构有点像是园林设计中常见的多层水池，在小水池（像素）的水（电子）溢出后会自动流入的大水桶（高密度电容），有效提升了满阱电子容纳能力FWC（Full well capacity），进而提供动态范围。照荣耀官方数据，H9800传感器的FWC电子容量由30K左右提升至9倍的270K/Pixel，动态范围提升了3档以上，达到15EV。据说华为P70也会使用基于LOFIC技术豪威传感器，但估计规格会与H9800不同。

结语

AI抠图，AI P路人，这是一些已经出现在智能手机上的AI应用。但是在图像传感器技术革新的当下，AI功能更该应用在底层算法中，以释放传感器画质潜力人，让单帧拍摄变得更强，让手机实现高画质的机关枪式连拍。

相关问答

动态传感器所属类别:自动化元器件--各类传感器动态传感器其它类型的自动化元器件还有:①型号:AA14D35,额定发热电流:4(A),接触电阻:35mΩ,机械寿命:24847(次)...

浏览器动态传感器(BrowserDynamicSensor)是一种能够在浏览器中使用的API,可以访问和获取设备的各种传感器数据,比如加速度计、陀螺仪、罗盘等。通过这些传...

一、传感器的动态性。动特性是指传感器对随时间变化的输入量的响应特性。动态特性输入信号变化时,输出信号随时间变化而相应地变化,这个过程称为响应。传...

光线感应,是一种屏幕显示亮度技术。光线越强,屏幕显示越明显。机上有1个光线感应器,光线感应器位于手机屏幕上方,副摄像头左边,能根据手机目前所处的环境光...

动态传感器可以使用时间一般是一到两年。传感器是气体报警器中最为核心的元器件。各种气体传感器都具有一定的使用年限,也就是所说的传感器的寿命。一般来讲,...

动态测量是指被测量在测量过程中是随时间不断变化的,对这种被测量进行测量的测量方法。一般需首先在某一起始点上,静止地观测数分钟,以便进行初始化工作。之...

传感器动态特性参数主要是,传感器的灵敏度及工作原理,受外界环境或条件影响,检测的波动随之相应的参数依据。传感器动态特性参数主要是,传感器的灵敏度及工作...

传感器的基本特性有以下两种:1.静态特性:线性度、灵敏度、重复性、迟滞性、稳定性、漂移、静态误差等。2.动态特性:阶跃响应:最大超调量、延滞时间、上升时...

应用:一:高分子压电材料的应用,如玻璃打碎报警装置,压电式周界报警系统;二:压电陶瓷传感器的应用,如压电式动态力传感器,单向动态力传感器。压电传感器...

是。一次性探头,包含了助推器,医用级别的封装,让人用起来放心,保质期是1年。助推器颜值在线,采用了椭圆形的结构设计。这样的设计是借助了力学原理,让我们...