全局曝光传感器 实现动静态视觉融合，「锐思智芯」推出全球首款融合仿生事件视觉传感器ALPIX-Pilatus

实现动静态视觉融合，「锐思智芯」推出全球首款融合仿生事件视觉传感器ALPIX-Pilatus

文｜戴昊彤 编辑｜彭孝秋

近几年，随着人工智能、计算机视觉等技术兴起，机器感知时代已经到来。传统摄像头因其响应慢、功耗大、拍摄运动物体模糊等痛点制约了计算机视觉技术的发展。为了解决这一问题，事件相机仿造人眼视网膜的工作原理，具备对信息响应速度快、冗余数据少、功耗低、动态范围大等优势，因而适用于机器视觉。2015年，事件相机步入产业化阶段并应用于少数场景。

然而，在大部分真实场景中，事件驱动相机需要配合传统图像传感器来使用。而在事件驱动相机+传统图像传感器的双摄系统中，由于两颗摄像头的视角差别以及事件相机与传统图像传感器的数据类型不同，因而对于两路数据进行实时配准存在较大困难。因此，将传统图像传感器与事件相机在芯片层面结合起来成为未来发展方向。

为了解决现有局限性，锐思智芯自主研发了Hybrid Vision技术，即

技术方面，其运作原理及优势主要体现在以下三方面，首先，将仿生视觉技术与传统图像传感器融合在同一芯片上，可同时输出高质量图像数据和事件流数据，实现了实时图像融合。其次，该方案的事件相机功能，为模仿人眼视网膜神经元的工作原理，基于事件进行驱动，只输出变化信息，其响应速度达到微秒级，全时域捕捉变化的信息。第三，延续传统图像传感器的技术优势，在图像拍摄模式时保证全幅画质和影像细节。

芯片工作原理

锐思智芯本次发布的ALPIX-Pilatus(简称ALPIX-P)即是基于”Hybrid Vision”开发而成，为全球首款将传统图像传感器技术和仿生事件相机技术在同一像素内融合的芯片 。ALPIX-P可以在传统图像传感器模式和仿生事件相机模式间快速切换。在图像模式下，ALPIX-P是一款最高帧率为120帧的全局曝光传感器，与现有的传统图像传感器完全一致，并与现有成熟的视觉系统完全兼容。在仿生事件相机模式下，ALPIX-P具有超高帧率，高有效信息占比，大动态范围的特点。

目前该芯片已开始送样。也验证了”Hybrid Vision“技术在量产、成本、性能上具备落地可行性 。

基于ALPIX-P的设计，锐思智芯研发了两个ALPIX系列传感器芯片产品，分别是ALPIX-Titlis(简称ALPIX-T)融合式低功耗仿生视觉传感与ALPIX-Eiger(简称ALPIX-E)融合式高端仿生视觉传感器。

两者的不同之处主要在于应用场景方面，ALPIX-T传感器芯片应用于各类对功耗敏感的视觉IoT 应用，如智能门锁、智能安防 等，在保持对场景连续感知的同时降低系统功耗。ALPIX-T的事件相机模式可以极低功耗过滤掉80%的无效信息 ，大幅提高有效信息占比，从而降低系统整体功耗。同时，在适配现有图像系统基础上，ALPIX-T增加了独立的事件流数据，可以提高图像识别算法的效率及精度。

而ALPIX-E融合式高端仿生视觉传感器则主要应用于高端成像领域，如手机、安防 等场景。在保证业内最高分辨率的同时，其像素大小达到行业内最小值。

在实现商业化落地上，锐思智芯向客户提供了两种服务模式，分别是：提供ALPIX芯片+基础SDK ，并支持客户相关应用开发；提供基于ALPIX芯片应用小模块即算法+模组（如交互、识别）、并支持客户上层应用开发。目前，锐思智芯已积累了一批alpha客户。未来，其芯片应用产品将会向手机等消费电子、汽车领域拓展。

在团队核心优势方面，主要体现在锐思智芯对技术难点的突破及创始团队的技术积累 。一方面，其技术难点在于：

首先，仿生视学传感器的核心像素内设计（in-pixel）复杂度高，晶体管数量多。要将传统图像传感器与之融合，既需要拥有前者的设计经验，又需要有仿生视觉传感器的研发经验。

其次，ALPIX是个系统级的设计，需具备较强的工程经验，这需要研发时间积累。

此外，若把ALPIX做得体积更小，需要先进的工艺以及对其深入了解，目前团队与该类顶级代工厂有着十几年的长期合作。

另一方面，从核心成员技术背景来看，锐思智芯CEO邓坚、CTO查颖云等核心成员均从事过各类高端视觉传感器研发工作，如高端图像传感器，TOF芯片，X ray，神经元信号探测芯片等。

邓坚对36氪透露，团队对仿生事件相机的研究始于2014年，如今已积累七年研发经验 。当时，团队参与仿生视觉传感器芯片产品化雏形项目的研发，该项目由瑞士创新基金支持，主要目标是设计一款用于植入盲人眼球的仿视网膜芯片，令盲人重新感知外界事物轮廓。基于该项目，团队接触到仿生视觉领域。后来团队又陆续开发了两款可商业化的动态视觉传感器芯片，基于原有的技术路线进行不断优化。

由此，团队对于仿生事件视觉传感器技术路线研究得深入透彻。除此，核心创始人员均毕业于剑桥大学、苏黎世联邦理工（ETH)、浙江大学等名校，并具备多年在NXP、ARM、飞思卡尔、Intel、Magic Leap等企业工作经验。创立初期，核心团队成员仅有6人左右，如今团队规模扩至50人，其中研发人员占比达85% 。

回顾锐思智芯的融资历程，公司目前已完成两轮融资。2019年底，公司完成数千万人民币天使轮融资，投资方为中科创星、联想创投 。2020年底，锐思智芯完成近亿元人民币Pre-A轮融资，由海康威视和耀途资本联合领投 ，讯飞创投、舜宇中央研究院、全志科技、追远创投、同创伟业跟投，老股东联想创投、中科创星继续加注。

无人机吊舱挂载摄像机卷帘曝光和全局曝光怎么选择？

无人机吊舱挂载摄像机卷帘曝光和全局曝光是摄影和摄像领域中一个重要的技术问题。在选择合适的曝光方式时，需要考虑到拍摄环境、拍摄对象、光线条件等多个因素。本文将探讨无人机吊舱挂载摄像机卷帘曝光和全局曝光的选择标准和技术要点。

首先，我们需要了解卷帘曝光和全局曝光的基本概念。卷帘曝光是指相机传感器在不同时间段内逐行曝光，即每一行的曝光时间不同，而全局曝光则是整个传感器同时曝光。在无人机航拍中，卷帘曝光通常用于拍摄运动物体或快速移动场景，可以减少运动造成的模糊和扭曲效果，而全局曝光则适用于静态场景或需要更高画质的拍摄。

在选择卷帘曝光和全局曝光时，需要考虑到以下几个因素。首先是拍摄对象的运动状态，如果拍摄对象在运动或需要捕捉快速移动的场景，建议选择卷帘曝光以减少运动造成的模糊。其次是光线条件，如果拍摄环境光线充足且稳定，全局曝光可以获得更好的画质和色彩还原效果。最后是拍摄需求，根据实际拍摄需求选择合适的曝光方式，以达到最佳拍摄效果。

除了以上因素，还需要注意曝光参数的设置。在选择卷帘曝光时，可以根据拍摄对象的速度和运动轨迹设置合适的快门速度和曝光补偿，以避免运动造成的扭曲和模糊。在选择全局曝光时，可以根据光线条件和拍摄需求设置合适的光圈和ISO值，以获得清晰、亮度均衡的画面。

总的来说，无人机吊舱挂载摄像机卷帘曝光和全局曝光的选择取决于拍摄环境、拍摄对象和拍摄需求等多个因素。在实际应用中，需要根据具体情况综合考虑各种因素，灵活选择合适的曝光方式，以获得最佳的拍摄效果。希望本文能为读者提供一些有益的参考和指导。

山田光学（深圳）有限公司YAMAKO系列产品不仅产品线丰富，更能满足客户对超高清、夜视、透雾、高低温、RS485串口数字控制、自动聚焦等多种多样的用途需求，而且可根据客户需求，进行定制开发，满足高端行业客户的特殊需求。广泛应用于无人机、园区、工业、广播、机器视觉、军事装备、航天、平安城市、森林防火、边海防、道路监控、高铁、电力、机场、管道、海事、海岛、港口码头、湖泊、核电站、船舶等众多领域。

相关问答

您好,我是一位摄影爱好者,最近听说奥林巴斯推出了一项超高速全局快门技术,不知道奥林巴斯超高速全局快门有什么用?请您介绍一下奥林巴斯超高速全局快门,谢谢。...

欧拉好猫配备了2个高精度毫米波雷达、12个高精度超声波雷达、6个智能驾驶高感知摄像头、33个智能驾驶高灵敏控制器、GPS+北斗高精度定位系统,组成了一套全方位...

虽然运动追踪也是它的功能之一,但RealSenseD455还适用于机器人技术、医疗保健等更广泛的应用领域。与依靠单个传感器的廉价竞品不同,英特尔RealSenseD45...

一起装修网问答平台为您提供工业相机cmos是什么?的相关答案,并为您推荐了关于工业相机cmos是什么?的相关问题,一起装修网问答平台:装修问题,因我而止。

中科院的光学研究所有:中国科学院上海光学精密机械研究所、中国科学院安徽光学精密机械研究所、中国科学院长春光学精密机械与物理研究所、中国科学院国家天文...

感谢邀请IQOO手机有哪些实用的小功能?题主问题的核心是iQOO手机有哪些实用的小功能?作为数码达人,自从接触到iQOO手机之后,发现其中的很多功能都比较实用,...感...

什么是大数据,应该很好理解!简单通俗的说就是你在大数据面前就是赤裸裸的!任何事情都隐藏和瞒着不了!从百度的搜索引擎开始,如果准确的说是从美国的谷歌开...如...

手机提供5000万像素高清主摄,采用与索尼联合研发的IMX766传感器,还有1600万像素的超广角镜头和4cm的微距镜头。手机的前置摄像头采用挖孔设计,提供3200万...

以“金头盔”命名的对抗竞赛,从2011年创立至今已经涌现出了许多双料“金头盔”飞行员,它对空军训练模式转变所起到的促进与引领作用日益显现。作为一种新颖的空...

工业相机与民用相机的区别1、工业相机的性能强劲,稳定可靠,易于安装,相机结构紧凑结实不易损坏,连续工作时间长,可在较恶劣的环境下使用,一般的数码相机是做...