光通量传感器 科学家研发仿生自适应光传感器，推动仿生视觉领域进一步发展

科学家研发仿生自适应光传感器，推动仿生视觉领域进一步发展

近日，东北师范大学徐海阳教授团队研发出一款仿生自适应光传感器。在自供电模式之下，它能感知并处理从紫外到近红外宽波段的入射光，并能很好地模拟人眼的视觉适应行为。

这项成果既丰富了当前神经形态器件的种类，也促进了视网膜仿生器件的发展，有望成为仿生视觉系统中感知端的重要集成组件，从而推动仿生视觉领域的进一步发展。

据了解，该传感器基于二维 γ-InSe 半导体材料，采用 “非中心对称”和“非对称接触”的设计思路，背后机制结合了光-热释电效应、以及光-热电效应，即基于以“光-热-电”作用为基础的工作机制。

通过此，它可以对光强和波长进行分辨，从而产生自适应的光响应。

目前，在自驱动模式之下，其已具备模拟部分人眼适应功能的能力。

也就是说，本传感器可以在不同光照情境之下，进行按需生产与应用，比如用于智能监控、自动驾驶、机器人视觉等。

（来源：Light: Science & Applications）

传感器已经有很多，为何要研发这种传感器？

传感器，并不是新鲜事物。那么研发本传感器的背后原因是什么？

据论文共同通讯作者李远征副教授介绍，当与周围环境互动时，人类的视觉感知能力可以从周围环境中收集到 80% 以上的信息。

图 | 李远征（来源：李远征）

视觉感知系统，是人类以及其他脊椎动物最重要的感知系统。作为视觉感知系统的重要组成部分，人眼可以感知颜色、亮度等视觉信息。

此外，人眼可以通过自动调整瞳孔大小，来适应不同的光线强度。比如，人类之所以能在亮光和暗光中都能看清晰图像，正是依赖于这种视觉自适应的能力。

当前，各种模仿生物系统的传感器陆续涌现。其中，仿生视觉传感器已经成为人工智能领域的研究热点之一。在人类的视觉系统之中，一个重要的功能便是视觉适应。

视觉适应，是一种面对刺激时的自主反应。它可以让感知系统调整自身行为，从而适应不同的光线环境。

对于人造类仿生视觉传感器来说，它们往往可以在各种照明条件之下，针对不同刺激响应作出自主调整，从而捕获相关的图像，进而完成视觉检查和视觉识别等任务。

目前，不少仿生视觉传感器都能以动态方式去适应外部光刺激，也就是说它们具备模拟人类视觉适应功能的潜力。

然而，现有的模拟人类视觉适应功能，往往受困于复杂的硬件和软件系统，导致操作效率并不够高。

同时，已有传感器的主要工作机制，仍然局限于对载流子捕获或离子迁移的调控，无法满足视觉自适应器件的应用需求，也无法顺应人工视觉系统的发展趋势。

所以，亟待探索关于传感器的新机制，从而更好地服务于具有简单器件构型的仿生视觉传感器。

也就是说，未来的传感器不仅要拥有传统光传感器的高灵敏响应性能，还要能在特殊环境之下针对所感知的图像进行预处理，从而在确保具有强大预处理功能的同时，也具备大型集成电路所无法达到的超低功耗特点。正是基于这些考虑，课题组研发了本传感器。

自适应能力从何而来？

那么，这款传感器具体如何实现自适应的？

据李远征副教授介绍，课题组利用非中心对称 γ-InSe 的热释电性质，在光照之时发生光热释电效应，从而引起响应电流尖峰的出现。

然后，通过电极材料之间非对称接触的面积，在光热效应的帮助之下，可以在热平衡建立之前，进一步获得光响应电流的自发弛豫。

大家知道对于持续的亮光环境，人眼具备视觉适应的能力。而这款光传感器也具备模仿上述能力的潜力。

非中心对称的 γ-InSe 材料，便是实现这种能力的“法宝”。该材料具有非中心对称的晶体结构、以及优异的光电性质，因此可以获得不错的热释电瞬时响应尖峰。

研究中，他们对机械剥离的 γ-InSe 样品进行一系列的表征，借此确定样品是非中心对称的 γ 相。并通过测量材料对于 1064nm 激发光所产生的二次谐波信号，再次验证了 γ-InSe 材料具有非中心对称的结构特征。

同时，γ-InSe 表面与两端接触电极的非对称接触，会产生中心光斑面向两端的温度差。而温度差会产生不可抵消的温差热电势，从而驱动净电子的输运，进而形成热电电流。

随着热平衡的建立，热电电流会逐渐减小，从而实现电流自发的弛豫。基于上述机制，本次传感器可以在零偏压下完成工作，并且可以分辨光强依赖和宽波段波长，这说明它具备和人眼一样的明适应行为特征。

为了验证二维 γ-InSe 基自适应传感器的工作机制，该团队采用控制变量法进行对比实验，借此排除材料上下界面可能存在的载流子捕获，对于器件适应行为的影响，从而证明传感器的适应行为来源于它本身，而非来自于外界。

然后，针对传感器在持续光照之下的动态响应过程，课题组提出由光-热释电效应、光-热电效应、以及光伏效应主导的光-热-电转换机制。

并通过变温、变偏压、变激光辐照面积等手段，在多个波长之下针对上述猜想进行实验验证，最终证实这一猜想完全成立。

（来源：Light: Science & Applications）

黑暗过后，仍能恢复 99.6% 的敏感度

如前所述，这种基于二维 γ-InSe 基的自适应仿生光传感器，可以像人眼一样，适应不同的光照强度和波长。为更深入地了解这种特性，该团队开展了一系列的实验。

首先，他们模拟了一种“闪烁灯牌”的情境。结果发现：当光照强度增大时，本次传感器能够逐渐适应，并且在 10 次闪烁之内，就能分辨出灯牌上的内容“NENU”。这就像人眼在适应明亮的环境后，能够看清楚事物一样。

接着，他们又模拟了人眼在两次相同的光刺激之间，经历黑暗间隔之后恢复视觉敏感度的功能。其发现：从间隔 1 秒到间隔 60 秒的变化中，本次传感器能够逐渐恢复敏感度，最终可以恢复 99.6% 的敏感度。 这就像人眼在黑暗中适应一段时间后，再看到光时会逐渐恢复视力一样。

此外，他们还发现传感器在适应过程之中并不是独立工作的。就像人类的眼皮和瞳孔可以调节进入眼睛的光通量一样，它也可以通过调节光通量来辅助完成适应过程。

当有效控制进入传感器的光通量，从而让光热效应的温度发生缓慢的改变，这时就可以加速适应过程，并减少在适应过程中出现的“炫目”效果。

另外，课题组还发现对于宽波段的光强依赖，这款传感器也具有自适应的响应特性。也就是说，它不仅能适应不同的光照强度，还能适应不同的光波长。

接着，他们在红、绿、蓝光波段测试了器件的图像感知效果。结果显示：当针对器件的响应电流值，把各波段的灰度值区间加以定义，传感器就能在 2 秒之内完成感知适应，从而得到清晰的图像信息。而这就像人眼能够适应各种颜色的光线一样。

通过这些实验，他们发现二维 γ-InSe 基自适应光传感器具有非常强大的功能。概括来说，这款传感器不仅可以分辨光强和波长，从而产生自适应性的光响应，还能模拟人眼的多项视觉适应功能。

在各种光照条件和波长之下，它都能模拟人眼的能力。因此，该团队认为该传感器具备成为人工视觉系统重要组件的潜力。

（来源：Light: Science & Applications）

最终，相关论文以《基于多层 γ-InSe 薄片的具有仿生视觉自适应功能的自供电宽带光传感器》（Self-powered and broadband opto-sensor with bionic visual adaptation function based on multilayer γ-InSe flakes）为题发在 Light: Science & Applications（IF 19.4）。东北师范大学李远征副教授和徐海阳教授担任共同通讯作者[1]。

图 | 相关论文（来源：Light: Science & Applications）

未来，他们计划研发更加智能、更加高集成的仿生视觉传感器，从而让其具备人眼所不具备的功能，比如偏振响应、紫外/红外光响应等。目前，他们正在开展相关研究，后续会陆续发表新的论文。

参考资料：

[1] Liu, W., Yang, X., Wang, Z. et al. Self-powered and broadband opto-sensor with bionic visual adaptation function based on multilayer γ-InSe flakes. Light Sci Appl 12, 180 (2023). https://doi.org/10.1038/s41377-023-01223-1

多次延期，这个“天才设计”图像传感器即将面世

来源：内容来自半导体行业观察（ID：icbank）编译自petapixel，谢谢。

日前，Sigma 首席执行官 Kazuto Yamaki 透露，该公司制造全画幅 Foveon 传感器的工作有望在今年年底前完成。

在Mirrorless Rumors发现的 Sigma 的 YouTube 频道上发表的一次采访中，Yamaki 被问及自今年早些时候提供更新以来是否有任何关于传感器开发进展的消息。“我们仍在努力，现在我们正在研究三层 X3 传感器的原型，”他回应道。“这个传感器应该在今年某个时候上市。”

Yamaki 和 Sigma 之前曾表示，制作全画幅 Foveon 传感器的过程很困难，他在这里重申了这一点。

“Foveon X3 传感器不是一个非常通用的传感器，”Yamaki 说。“在低光照条件下会有一些‘缺点’，但如果光线充足，那台相机可以拍出非常漂亮和令人印象深刻的照片。”

Foveon陷入困境的发展史

Sigma 的 Foveon 传感器使用专有的三层结构，其中红色、绿色和蓝色像素各有自己的完整层。在传统传感器中，三个像素以马赛克排列共享一个图层，相机通过检查相邻像素来“填充”缺失的颜色。

由于照片的每个像素都以三种颜色记录，因此生成的照片应该更清晰，色彩准确度更高，伪影更少。

但Sigma多年来一直在努力将全画幅 Foveon 传感器推向市场。最初于 2018 年 9 月发布的全画幅 Foveon 传感器出现了多次延迟。2020 年 2 月，该公司宣布该开发项目已被“重新设计”并推迟了一段时间，具体时间不详。

一年后，Yamaki 透露该传感器再次被推迟，由于严重缺陷而无法投入量产。

2022 年 2 月，适马宣布已进入传感器原型制作三个阶段中的第二个阶段，并表示如果第三阶段进展顺利，它可以开始验证其量产性。

“当我们进入第 3 阶段时，我们将根据评估结果与研究机构和制造供应商验证传感器的量产性，然后最终决定是否量产图像传感器，”山木当时说。

“虽然我们还没有达到可以公布图像传感器量产的具体时间表的阶段，但我们决心尽最大努力尽快实现一款真正让等待它的客户尽可能满意的相机。”

Yamaki 的新声明和 2022 年时间表似乎表明该公司已成功完成第三阶段，再次希望全画幅 Foveon 传感器能够重见天日。

Foveon：未能赶上的智能图像传感器

早在 2000 年代初期，Sigma（通常在摄影界被称为镜头制造商的公司）发布了一种名为 Foveon X3 的新型相机传感器。该传感器技术于 1999 年由一家名为 Foveon, Inc. 的公司（后来于 2008 年被 Sigma 收购）首次获得专利，并采用了创新的色彩感知技术：3 层光敏二极管堆栈。

从纸面上看，这项技术承诺在色彩准确度、低光噪声和图像清晰度方面优于 CMOS 传感器。本文将解释为什么 Foveon 技术尽管是一个聪明的想法，但从未真正在摄影行业取得成功。

硅作为一种半导体材料而广为人知，并且在许多电子电路中都使用这种材料。然而，对于摄影师来说，硅的主要兴趣在于它是一种感光材料。

更具体而言，硅吸收介于 400nm 和 1100nm 之间的任何波长的光。好消息是，这个范围涵盖了可见光谱（大约 400nm 到 750nm），甚至还有一点近红外光谱。坏消息是，硅本身并不能区分光的颜色，只会积累 400-1100nm 范围内的任何光子。

提高图像质量的第一步是添加一个滤光片，以在红外光（750nm 和 1100nm 之间）到达传感器之前将其去除。生成的系统构成单色相机传感器（提供黑白图像）。

从那时起，收集一些颜色信息的最常见方法是使用滤色器阵列 (CFA)。通常，这个滤镜是按照拜耳模式（来自柯达工程师的名字）组织的，带有红色、绿色、绿色和蓝色滤镜。

多亏了这三个滤镜，人们可以恢复图像中的颜色信息。然而，这个过程是以牺牲一些图像分辨率为代价的。对于给定的“红色”像素，必须进行插值以找到丢失的绿色和蓝色信息。存在许多插值算法，但该过程总是会导致某种形式的颜色伪影和图像柔化。

彩色滤光片阵列除了不准确之外，在收集一些颜色信息的过程中也会吸收很多光子。吸收取决于滤光片的选择和图像内容，但通常承认光通量在到达传感器之前要除以 3 倍。那是1.5档光。

碰巧的是，根据它的颜色，给定的光子在被吸收之前在硅中传播了特定的距离。这个“行进距离”与光子的能量有关，而光子的能量取决于它的波长。短波长光子（蓝光、紫外光等）比长波长光子（红光、红外光等）能量更高，因此在硅中的较短行程后被吸收。

由于硅中的吸收深度提供了对光子波长的估计，因此吸收深度的测量在理论上提供了颜色信息。Foveon 传感器的巧妙之处在于使用“深度滤镜”而不是并排的彩色滤镜。

至少在纸面上，移除任何滤色片应该会增加落在传感器上的光通量，并消除与滤色片相关的缺点。

早在 2002 年 Foveon 传感器在 Sigma SD9 DSLR 中首次进入市场时，大多数数码相机的分辨率都远低于 10MPx。佳能 EOS-1D 有 4.2MPx，尼康 D100 有 6MPx。由于滤色器阵列需要数字插值，因此对于给定数量的像素，滤色器阵列提供了巨大的清晰度升级。

Sigma实际上试图通过声称 SD9 相机具有 3.43MP 输出图像但“1030 万有效像素”来推销这种图像质量差异，这意味着它们的像素表现要好 3 倍。几篇学术论文确实发现，由于缺乏插值和锐利边缘周围的颜色伪影，Foveon 传感器提供了更高的感知分辨率。从这个角度来看，Foveon 传感器为用户提供了明确且可衡量的好处。

Sigma 声称的最后一点是，在色彩准确性方面，Foveon 传感器优于滤色片传感器。该声明是由缺少颜色信息插值来解释的。实际上，对于给定的 Foveon 像素，红色、绿色和蓝色数据记录在同一个位置，这与彩色滤光片阵列相反。

至少在纸面上，Foveon 传感器具备一切：更好的光通量意味着更好的低光性能、更好的色彩准确度和更好的图像清晰度。但是纸质规格从来没有完全讲述完整的故事……

从那以后真正的问题真的归结为：既然 Foveon 传感器背后的想法非常聪明，为什么我们不都使用 Foveon 传感器呢？

一、解析度

随着 CMOS 传感器的发展，对 Foveon 技术的一些兴趣消失了，因为像素密度的急剧增加降低了 Foveon 传感器的主要卖点之一。当然，这并不是一个真正的apple to apple的比较，因为像素数只影响最终图像质量的一小部分（连同镜头、可用光量等）。由于即使是智能手机也可以提供至少 20MPx 的图像，所以 Foveon 的吸引力不如 2000 年代初期。

二、颜色

Foveon 传感器的色彩优势在理论上是不可否认的，但实际上几乎没有什么好处。在色彩校准显示器和实验室环境之外，色彩精度的差异很小，以至于大多数休闲摄影师都不会注意到。它肯定比白平衡错误或创意 Instagram 过滤器的影响更微妙。

（三）噪音

这可能是最有争议的一点。在纸面上，Foveon 传感器应该收集大约 3 倍的光，这应该转化为信噪比提高 1.7 倍。也就是说，假设散粒噪声占主导地位。然而，事实证明，在实际比较中，Foveon 传感器的弱光性能不足。甚至 Foveon 总经理Shri Ramaswami 在 2014 年的一次采访中也承认了这一点：

“Foveon 方法的一个限制是图像噪声高于传统传感器，”他说。“这可能部分是由于传感器架构本身的效率低下——也许一些光会丢失到分隔各层的内部结构中——也部分是由于必须进行处理才能从相当混合的信号中产生纯色芯片实际上捕捉到了。”

CMOS 传感器和 Foveon 传感器有一个相似的设计问题：一些光从一个像素泄漏到下一个像素。在 CMOS 传感器中，这种串扰问题通过使用光电二极管之间的垂直隔离结构来解决。

然而，在 Foveon 传感器中，不可能应用相同的技巧（否则，您将只能获得蓝色信息）。因此，Foveon 传感器往往会遭受从一个光电二极管层到下一个光电二极管层的光子泄漏。

所有“不寻常”色彩系统（无论是富士 X-Trans、RGBW 滤镜还是 Foveon）的一个共同缺点是图像处理也会受到选择的影响。尽管拜耳滤光片可能不是捕捉颜色的最佳方式，但它们已经存在了几十年，并且在传感器市场上绝对占据主导地位。因此，图像处理研究人员和公司有强烈的动机为这种类型的传感器微调所有算法。

例如，去噪通常是通过一些关于收集到的光子的统计数据的假设来完成的，这些光子不能直接应用于 Foveon 传感器。遗憾的是，鉴于使用的 Foveon 传感器的份额，大多数图像处理公司没有任何动力支持 Foveon 文件，更不用说开发专用于此类传感器的图像处理管道了。

基于机器学习的算法，这种趋势只会变得更糟。坦率地说，机器学习算法只与用于训练它们的数据一样好（在数量和质量方面）。由于拜耳滤波器阵列提供的图像数量是 Foveon 的数千倍，因此前者传感器将受益于比后者更好的算法。

最后，我们需要解决房间里的大象。由于技术原因，摄影设备并不总是出售。定价、营销、镜头生态系统、品牌——一项技术的成功有很多因素。

Sigma试图提供一种与众不同的传感器，但该公司不得不同时打两场战斗。第一个是证明 Foveon 传感器的图像质量。第二个是证明，作为相机制造商，他们的相机优于佳能或尼康相机。

Foveon 可能是Sigma在竞争激烈的相机行业的秘密武器。但是，传统传感器和 Foveon 传感器之间的性能差异并不明显。至少，还不够清晰，不足以吸引新摄影师加入 Sigma 品牌。

作为一家公司，Sigma在镜头制造方面享有良好和当之无愧的声誉，并希望将其业务进一步扩展到相机和传感器。然而，相机不仅仅是一个传感器。Sigma 面临的真正挑战很可能是缺乏高质量的图像处理。Sigma 甚至必须为 AdobePhotoshop 创建一个插件才能打开 Foveon 文件。

虽然适马发布带有全画幅 Foveon 传感器的新相机并非不可能，但要在现有的 Foveon 社区之外销售该技术还有很长的路要走，更不用说使其成为行业标准了。

原文链接：

https://petapixel.com/2022/07/27/sigmas-full-frame-foveon-sensor-will-be-ready-by-the-end-of-2022/

https://petapixel.com/foveon-x3-image-sensor-explained/

*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。

今天是《半导体行业观察》为您分享的第3117内容，欢迎关注。

晶圆｜集成电路｜设备｜汽车芯片｜存储｜台积电｜AI｜封装

相关问答

光照度传感器价格价格是300元,设面元dS上的光通量为dΦ,则此面元上的照度E为:E=dΦ/dS。照度的单位为lx(勒克斯),也有用lux的,1lx=1lm/㎡。照度表...

模拟式光电传感器的种类模拟式光电传感器按被测量的物体方法可以分为透射式、漫反射式、遮光式三大类1透射式是指被测物体放在光路中,恒光源发出的光...模...

光电报警原理光电报警器的主要部分是光电传感器。传感器是指能感受规定的被测量并按一定规律转换成可用输出信号的器件或装置。通常由敏感元件和转换元件组成...

[回答]光电传感器是采用光电元件作为检测元件的传感器。它首先把被测量的变化转换成光信号的变化,然后借助光电元件进一步将光信号转换成电信号。光电传感...

[最佳回答]屏幕越亮光通量越大呗。

汽车透镜漏光检查下灯泡,还有线路:1、我们可以设想一下:汽车卤素大灯原车色是透明的,相当于一个透明的玻璃,如果在透明的玻璃外面蒙一层蒙版即...

[回答]图像传感器相当于胶片相机所使用的胶片,当然在对于摄像来说,可以想像成拍摄胶片电影时用的胶片。图像传感器由半导体集成的电子元件构成,主要作用是...

[回答]氧含量分析仪的量程指的是仪器的测量范围。比如一个温度计,起始刻度是零摄氏度,刻度值是50摄氏度,这个温度计的量程就是50摄氏度。所有的测量仪器,...

[回答]2、紫外线透光率仪实用于要挡紫外线的产品,太阳镜等,利用小,规范不一。3、雾度透光率雾度国际上叫法,以漫射的光通量与透过材质的光通量之比的百分...

对于一张白纸的小白是最好教的,反倒有了许多自己“独到”见解的人,东拼西凑学的杂乱无章的人,是很难带入行的。初学摄影,哪些知识是小白需要掌握的呢?鉴赏...接...