事件传感器 锐思智芯发布业内首款融合式仿生事件传感器ALPIX-Pilatus

锐思智芯发布业内首款融合式仿生事件传感器ALPIX-Pilatus

近日，仿生事件传感器领域有两个突破性进展。一是索尼半导体发布两款堆叠式事件监测视觉传感器（EVS, Event-based Vision Sensor），利用 Cu-Cu 连接的 3D 堆叠工艺，将事件驱动相机的像素尺寸从 15um 大幅减少到 4.86um。

另一个突破性进展是华为利用普通摄像头结合仿生事件相机来捕抓高画质的慢动作视频，此一研究成果成功入选 CVPR 2021。两大进展象征随着巨头加速入局神经视觉传感器领域，该技术距离成熟商用化落地更进一步。

在国内，神经拟态相机或仿生事件相机是属于技术非常创新的领域。专注于新一代计算机视觉传感领域的芯片业者北京锐思智芯，于近日发布全球首款仿生事件相机技术与 CIS 技术融合的相机 ALPIX-Pilatus。

锐思智芯提出独创 “ Hybrid Vision” 技术，以融合仿生事件视觉传感器及高端图像传感器，让该公司的核心产品—融合式仿生事件视觉传感器芯片 ALPIX 既可输出事件流信号，也兼容输出高质量的图像信号。

这种二合一的功能，可有效降低视觉系统方案的成本，客户更容易开发相关算法及应用，并有效提高芯片信噪比，改善噪声问题及暗光性能。

此优势也正好解决当前市面上的仿生事件视觉传感器芯片的最大问题。因为沿用了最早期学术研究中采用的技术路线，导致有很多不足之处，比如信噪比低、噪声高、与 CIS 不能很好兼容。

锐思智芯成立于 2019 年 7 月，是一家专注于新一代计算机视觉传感领域的芯片研发及整体方案提供商，研发团体主要来自于浙江大学、剑桥、瑞士苏黎世联邦高等理工学院等世界名校，团队成员曾就职于 CSEM、英特尔、NXP、Arm、安森美、Magic Leap 等国际著名公司。

很多人会问，神经形态视觉传感器的技术原理存在数十年，为何在此时会吸引国际大厂争相入局？

自 2015 年人工智能技术与商用落地在各类应用中实现，视觉相关的领域逐渐由人看转变为机器“看”。

相较于传统 CMOS 图像传感器芯片 CIS，仿生事件视觉传感器芯片更适合用于计算机视觉、人工智能领域，也被称为事件驱动相机 (Event-based Camera)。

传统 CIS 由于快门统一控制曝光的工作原理，导致用于计算机视觉领域时，就暴露了一系列缺陷，比如速度慢导致运动模糊、数据量大造成带宽占用高及功耗高、易受环境光影响等。

仿生事件视觉传感器芯片是模仿人眼的视网膜神经，让每个像素独立工作，通过感知外界光强变化来输出变化的脉冲信号或事件流信号，也就是以事件驱动的原理，来捕捉一个场景中的关键信息，大量降低数据冗余和延迟。

进一步解释像素工作方式的区别：

CIS 是基于电荷，需要对电荷进行积分之后，才能有输出。也就是说，在电荷积分的这个过程，CIS 像素不区分在这个过程中的变化，这也就限制它的采样频率，无法捕捉高速运动物体。而且运动的叠加，就可以理解成多个虚拟帧的图片重合在一起，使得图像模糊。

EVS 是基于 PD 电流，监测PD的电流信号是否发生了变化。变换超过一个给定的阈值，以 2bit 信号输出；即变强 01 或变弱 10，若变化不超过阈值，则为 00；所以可以响应高频信号，即快速变化的物体。同时其计算过程是所有像素同时进行数模转换，这是一个并行过程。而且因为转换简单，这个 2bit 的数模转换非常迅速，从而实现了非常高速的整个像素阵列的转换与输出，达到高帧率。

EVS 与CIS 相比，具有速度快 (>1000 帧/s)、功耗低、冗余数据量少、动态范围大 (>120dB) 等特点，可解决计算机视觉当前面临的一些痛点。

进一步的解释原理，传统 CIS 是以“帧”为单位来记录动态影像画面，但如果画面一直处于静止状态，不断纪录的结果是每一帧都是重复地，导致大量冗余的信息，造成存储和计算的负担。

如果加入事件信号，就可以在场景出现变化时，像素才做出反应，而场景没有变化就不会有信息输出。这样就不会因为在静止画面时，仍是逐帧重复纪录大量无意义的信息，导致大量无用数据。

华为在 CVPR 2021 展示的慢动作视频，每秒 53 帧视频变成 960 帧的研究成果，也是采用同样原理，由一个一般相机来记录低帧的实际画面，再用一个事件相机来记录像素亮度变化。

除索尼、华为以外，三星算是最早一批将事件相机技术导入商用化的国际大厂，在 2015 年左右加入战局。

2016 年，三星将事件相机导入自动驾驶平台上，除了极低功耗的表现，其镜头以 2,000 fps 更新率追踪物体，对比一般数码相机为 120fps。 2019 年，三星便开始在手机与平板电脑应用的动态视觉传感器 DVS 技术领域申请商标。

正是因为事件相机的特性，各大厂看中其市场潜力，纷纷入局。根据 Yole Development 报告显示，2020 年全球 CIS（CMOS 图像传感器）的市场价值达到了 207 亿美元，预计到 2026 年，全球 CIS 市场总量预计将达到 315 亿美元。再者，有报告显示，2029 年神经拟态半导体传感和计算芯片将可达到约 70 亿的市场规模。

谈完仿生事件视觉传感器的原理特性，那锐思智芯的技术与市面上的同业相较，具有哪些独特的优势？

锐思智芯 CTO 查颖云指出，公司的技术最早源于 2014 年瑞士国家级基金扶植的生物医学项目，是一种仿视网膜芯片技术，用来植入眼球，代替成为盲人的视网膜。后来该项目成功商用化后，卖给一家以色列公司，成功将仿视网膜芯片运用在机器视觉平台上。而锐思智芯的两位创始人邓坚和查颖云都是该项目的技术骨干。

查颖云进一步指出，市面上的仿生事件视觉传感器芯片不少，但多是沿用 20 多年前学术研究的技术路线，现在来看实现方法都过于老旧，没有把新的 CMOS 技术运用进去。因此，在应用落地过程中，存在一系列难点。

首先，纯粹的事件相机难以满足实际应用的需要。

在大部分实际应用场景中，需要事件流信号来做快速预判，也需要图像信号做复杂重建（比如稠密 3D 重建）和精细判断（比如人脸识别）。用 EVS 芯片需要配合 CIS 使用，比如至少需要一个 EVS＋一个 CIS 组成双摄系统。但此方案由于数据结构不同，在算法上模态是不一样的，很难进行空间位置上的配准和对齐，融合算法开发难度大，所以很难真正实现应用落地。

相较之下，ALPIX 融合方案能够同时输出 EVS 和 CIS （APS）信号。因此具有 EVS 的优点，同时还能够输出 CIS 的图像信号；即一颗摄像头可替代两颗摄像头的功能。此外，相比于 EVS＋APS 双摄方案，ALPIX 融合方案，在空间位置上是已经对齐的，因此解决了双摄异源图像对齐的问题。

Figure 3：ALPIX 芯片中事件流信号与图像信号共用同一个像素

当然， 当前行业中也有一类事件相机可输出事件流信号及光强灰阶数据，但因其像素的设计等原因，基于该光强灰阶数据生成的图像在信噪比、暗光表现、固定模式噪聲（Fixed Pattern Noise）、温度稳定等方面与传统CIS的输出的图像还存在较大改善的空间。

再者，CMOS 技术进入堆叠式工艺 BSI 时代。通过使用堆叠式技术以及独特的芯片设计，锐思智芯的 ALPIX 大幅缩小像素及芯片尺寸，并且减少 CIS 电路及事件相机电路串扰以提高输出信号质量。使得事件相机才真正有可能应用到大部分对尺寸及信号质量要求较高的消费电子领域。

CMOS 堆叠工艺是通过将光电二极管“放置”在了影像传感器芯片的最上层，把 A/D 转换器及放大电路等挪到了影像传感器芯片的“背面”，来最大限度地接收光照，使得在小尺寸的影像传感器也能获得优良的高感光度能力。

索尼最新发布的 EVS 就是基于 CMOS 堆叠工艺生产，将事件相机的像素尺寸从 15um 减少到 4.86um。而锐思智芯的 ALPIX 芯片基于堆叠工艺同时，对芯片架构做了变革，像素尺寸将进一步下降到现有机器视觉 CIS 的像素尺寸。

另外，现有的仿生事件视觉传感器仍是有许多待改善之处，比如信噪比低、噪声高、暗光条件下表现较不理想，与成熟的计算机视觉算法不能很好兼容等。

因此，锐思智芯提出经过大幅改良，且具有特殊设计和专利的 ALPIX 传感器和 Hybrid Vision 技术，与传统 EVS 技术具区别性，来解决上述当前事件相机存在的问题。

“Hybrid Vision” 技术通过融合仿生事件视觉传感器芯片 ALPIX 和高端图像传感器CIS 芯片，让 ALPIX 芯片既可输出事件流信号，也兼容输出高质量的图像信号。

基于 “Hybrid Vision” 技术，ALPIX 更适合用于实际应用场景，特别是既需要事件流快速判断，又需要图像数据进行详细分析的场景，例如智能家居、手机、物联网、安防、机器人等。

发布 ALPIX-Pilatus 芯片，预计将先落地于 VIoT 领域

目前锐思智芯已规划两个系列芯片产品：ALPIX-Titlis 融合式低功耗仿生事件视觉传感器、ALPIX-Eige 融合式高端仿生事件视觉传感器。

ALPIX-Titlis 主要用于 VIoT 领域，预计量产芯片将于明年率先落地。而应用于高端成像领域（如手机、安防）的 ALPIX-Eige 芯片也即将发布。

ALPIX-Titlis 融合式低功耗仿生事件视觉传感器，像素端过滤 80% 无效信息，可节省系统成本；在适配现有图像系统基础上，增加独立的事件流数据，帮助提高算法的效率及精度。适用于各类视觉 IoT 场景，比如低功耗监控相机，机器人等。

而在机器人及自动驾驶场景中，由于 ALPIX 具备精细二维 RGB 信息，以及高速的信息，因此非常契合这类场景的应用。机器人或自动驾驶汽车，在视觉上需要 3 个信息；详细的平面信息，高速及全天候的预判信息，精确距离信息。ALPIX 可以提供前两类信息。基于 ALPIX 的快速、轻量的事件流信号做快速的预判，如避障、紧急刹车等功能；也可以基于信息丰富的图像信号做高精度的视觉地图重建及人物识别等。

此外，由于事件流信号的高动态范围，可以适应更复杂的光照条件，也进一步增强了机器人的传感器系统的安全性或适应性。

“不久的将来，我们甚至也可以在 ALPIX 的 Hybrid Vision 基础上将精确的距离信息也融合到我们的 sensor 上”,邓坚表示。

最后，查颖云谈到视觉传感器行业即将走到一个全新的格局。随着机器感知技术及应用的不断发展，以及类似于 EVS 这种新型视觉传感器技术的不断产生，由索尼、三星垄断的传统 CIS 市场格局也会发生改变。国内将会有更多新兴的公司产生并发展，参与到视觉传感器领域，给行业提供更多的选择和机会。

科学家研发“纤上实验室”，能解码传感器的物理事件和化学事件

近日，暨南大学关柏鸥教授、黄赟赟研究员和团队开发出一种微纳光纤“纤上实验室”。

既能用于模拟光纤表面的光电催化反应并进行实时解析，也解决了测量光电催化表面的关键参数时所面临的挑战。

图 | 黄赟赟（来源：黄赟赟）

研究中，课题组在微纳光纤的表面，以有序、定量的方式，组装了一层光电催化剂，借此形成了微纳光纤“纤上实验室”。

然后，他们将激发催化反应的光源，替换为泵浦激光并将其耦合于光纤之中。

进而，通过倏逝场激发了光纤表面的光催化效应，实现了对于光电催化反应过程的模拟。

由于倏逝场具备快速的响应能力，并且其穿透深度在亚微米尺寸范围之内，因此能够感知表面“纤上实验室”的反应过程。

同时，还能实时监测催化剂表面的反应物浓度和热效应这两大关键参数。

总的来说，对于监测光电催化过程和产热来说，本次成果带来了一种新方法，填补了此前监测技术的重大空白。

不仅针对化学事件和热事件实现了实时、原位和亚微米级的分析，也展示了光电催化监测领域的重大进步，对于光化学分析技术的发展具有重要意义。

（来源：Advanced Science）

在应用前景上，本次技术能直接用于光电催化反应中，以原位、实时、连续的方式，监测催化剂表面的反应物浓度变化和催化产热过程。

同时，也能解码传感器附近亚微米尺度范围之内的其他物理事件和化学事件。

（来源：Advanced Science）

不简单的“纤上实验室”

而要想理解本次成果，得从太阳能说起。

作为一种清洁能源，太阳能具有清洁、安全、可持续、无污染等优点，能够转化为化学能源加以利用，从而能够提供解决环境污染和能源短缺的潜在途径。

光电催化技术，则是一种能在温和条件下将太阳能转化为化学能、且不会引起任何二次污染的技术，也是解决环境问题和能源挑战的重要途径。

正因此，近年来几乎每年都有大量优秀的光电催化剂设计与合成成果涌现。

而在催化过程之中，催化剂表面的反应物浓度变化和催化产热，是影响催化效能评价和反应机理解读的关键参数。

这两个参数主导着催化剂的宏观反应，并对评价催化剂的内部构效关系有着重要影响。

为了深入理解光电催化机制、并进一步提升催化性能，很有必要针对催化剂的表面局部反应物浓度和温度变化，开展从宏观尺度到微观尺度的监测和分析。

此前，已有许多研究致力于寻找新的表征方法，以便提供有价值的催化参数信息。

这些表征技术包括：气相色谱-质谱法、紫外-可见吸收光谱法、拉曼光谱法。此外，热电偶、扫描热显微镜和红外热成像仪，也被用于检测催化剂的温度。

然而，这些方法通常需要大型、昂贵、复杂的仪器，并且缺乏原位的连续监测能力。

在微观尺度特别是在固液界面上，持续地原位监测反应物浓度和催化剂表面温度，存在较大的难度。

原因不仅在于检测工具的分辨率较低，也因为表面物质和热量会快速扩散到溶液之中。

与此同时，此前人们很难以快速、高精度、高空间分辨率的方式，捕获表面局域化的物质和热信号。

此外，环境的物质和温度波动，将不可避免地干扰催化剂表面关键参数的监测，以至于给催化机理的研究带来了较大障碍。

要想解决这一挑战，就得开发能在亚微米尺度上获取催化剂表面关键参数信息的新型传感器技术。

光纤传感器，为解决上述问题提供了一种极具前景的方法。它们由化学惰性的氧化硅玻璃制成，具有高灵敏度、瞬时响应和抗电磁干扰能力。

利用亚微米尺度的倏逝场，光纤传感器能与表面亚微米尺度范围内的物质发生相互作用。

而近年来新兴的“纤上实验室”，可以将功能纳米结构集成到光纤外部曲面，为探索光纤新功能提供了诸多可能性。

得益于较长的交互长度、以及更易获得的微/纳米技术，“纤上实验室”让人们得以沿着光纤表面构建多功能光子元件。

在现有的光纤传感器之中，微纳光纤具有紧凑的传感结构，在包层模式之下能让光穿透整个光纤环境。

因此，它能在亚微观尺度上促进光与物质之间的强相互作用，所以非常适合进行微尺度实验，进而用来研究光物理和光化学相互作用。

（来源：Advanced Science）

“这是每个科研人都会有的表情”

多年来，关柏鸥、黄赟赟团队专注于研究光纤生物化学传感器。此前，他们曾打造出一款光纤传感器，并具有结构小巧、操作便捷、适合原位监测等优势。

于是，他们设想：能否开发一种集成微反应器的光纤传感器，在其表面实现催化反应，并利用表面光与物质相互作用，实现催化反应关键参数的实时监测？

为此，他们开展了本次课题，并发现在光纤表面反应层的形成过程中，要想让光纤在每个反应过程中都能实现信息和传感器的可重复性，就必须以单层、有序的方式来组装催化剂。

于是，他们尝试了多种光纤表面功能化方法，实现了对于催化剂层的定量、有序的组装。

而将外接的催化反应激发光源集成到光纤之中，并通过光纤来传导催化反应的激发光，也是本次课题的关键目标之一。

因此，只有这样才能让器件变得更加集成和更加小型化，也才有利于器件的应用。

为此，他们针对光纤直径进行拉细处理，以便让泵浦光源能够在光纤锥区倏逝到表面，从而激发表面催化层的催化反应。

担任本次论文共同一作的暨南大学博士生梁家炫表示，由于此次所需的光纤传感器必须具备结构小巧、灵敏度高等特点，这让器件制作变得尤为复杂。

期间，他们从光纤种类、微光纤尺寸、刻写布拉格光栅激光器功率上不断试验，最终做出了能够满足实验要求的微光纤传感器。

梁家炫表示：“我至今记得硕士师妹在每次尝试失败后的失望表情，这是每个科研人都会有的表情。但我时常会安慰道：行不通就改，自信一点。”

对于实验失败他看得很坦然：毕竟不是所有实验都会按计划进行，但却可以从每次失败中积累经验。

而为了保证有仪器使用，他和师妹看到了凌晨 4 点的暨南大学校园，也时常因为做实验而被宿管阿姨记晚归。

梁家炫继续说道：“论文投稿成功并顺利收到 DOI，也是我们最难忘的时刻，也让我们感到所做的一切都是值得的。”

“我记得当时我们还在开组会，会上导师黄赟赟收到一封邮件后，露出了久违的微笑并对我和师妹说：‘论文被正式接收了，有 DOI（Digital Object Unique Identifier，数字对象唯一标识符）了。”他说。

那一刻对于导师黄赟赟而言，可能是一个轻松平静的过程，但对于梁家炫和师妹来说则是一个学业生涯的里程碑，这意味着他们终于可以顺利毕业。

图 | 研究团队合影（来源：课题组）

最终，相关论文以《通过实验室微纤维传感器对光电催化中的表面化学和热事件进行原位解码》（Operando Decoding of Surface Chemical and Thermal Events in Photoelectrocatalysis via a Lab-Around-Microfiber Sensor）为题发在 Advanced Science（IF 14.3）。

黄赟赟是第一作者兼共同通讯，牟彩妮和梁家炫是共同一作，暨南大学教授关柏鸥担任共同通讯作者。

图 | 相关论文（来源：Advanced Science）

如前所述，该团队专注于光纤生物化学传感器的研究。

目前，在生物方面，他们正在开展细菌和肿瘤的临床检测与治疗，并已经完成临床样品的检测，眼下正在和医学专家开展合作。

在化学传感方面，除了研究催化剂关键参数的检测之外，其也正在利用传感器开展电信号和生物产电的研究。相信不久之后，他们还将迎来新的惊喜。

参考资料：

1.Huang, Y., Mou, C., Liang, J., Wan, J., Chen, P., & Guan, B. O. (2024). Operando Decoding of Surface Chemical and Thermal Events in Photoelectrocatalysis via a Lab‐Around‐Microfiber Sensor.Advanced Science, 2310264.

运营/排版：何晨龙

相关问答

事件传感器的工作原理:是通过敏感元件及转换元件把特定的被测信号,按一定规律转换成某种“可用信号”并输出,以满足信息的传输、处理、记录、显示和控制等要...

事件引擎(EventEngine)是一种计算机技术,用于处理和管理事件的产生、传输、处理和响应。事件引擎可以用于各种应用场景,包括实时数据分析、流程管理、业务规...

大家好,我是小念。咱们大致分析一下:我看了附件链接的新闻,说传感器有问题,导致门开不掉,小念认为这与自燃没有半点关系。因为传感器的所需要的电压很低...咱...

传感器是一种设备、模块或子系统,其目的是检测环境中的事件或变化,并将信息发送给其他电子设备,通常是计算机处理器...就是关闭了传感器,那样它不会自动工作...

事件驱动型应用是一种软件架构模式,其中应用程序的执行由外部事件触发和驱动。以下是一些典型的事件驱动型应用的示例:1.消息队列系统:消息队列系统通过将消...

传感器(监测各个车轮的速度转动)、侧滑传感器(监测车体绕垂直轴线转动的状态)、横向加速度传感器(监测汽车转弯时的离心力)等组成。控制单元通过这些传感...

用于检查点火是否正确同时用于转速表驱动。传感器监测点火线圈电源电路上电阻之间的电压差。当点火线圈工作时,电压降时检测到通过电阻的电流。使用曲轴位置...

[回答]是一种自发电式和机电切换式传感器。它的敏感元件由压电材料做成。压电材料受力后表面产生电荷。此电荷经电荷放大器和测量电路缩放和转换电阻后就...

使用天然气的过程中排查泄露已经是下乘,因为发现泄露,往往已经晚了。举个实际例子,青岛的黄岛输油管道爆炸,导致62人遇难,这个事故的案例就是,企业已经发现...

我身边确实是发生过女性猥亵的事件,我们的街坊因为两家大人有矛盾多年,并且是矛盾还非常深,两家还是本家族关系。可以作为两家的孩子一男一女都是成年人,并...