ST的传感器 ST：全局快门传感器，是计算机视觉首选成像技术

发布时间：2024-11-24 08:11:39

ST：全局快门传感器，是计算机视觉首选成像技术

现在大多数的新兴应用，尤其是人工智能和元宇宙，都需要计算机视觉技术。而计算机视觉的实现离不开图像传感器的支撑，全局快门图像传感器以具有竞争力的成本，精确的测量成为计算机视觉应用的首选成像技术。

全局快门传感器是计算机视觉首选

首先，让我们来看下，什么是计算机视觉？根据IBM给其的定义，计算机视觉是人工智能 (AI)领域的一个分支，让计算机和系统能够从数字图像、视频和其他视觉输入数据中提取有意义的信息，并根据这些信息采取行动或提出建议。计算机视觉的应用场景在我们身边是无处不在的，主要可将其归为四大类：深度感应、生物识别、AR/VR/MR、机器人与工业控制。这些应用自然离不开图像传感器的支撑，而这四大类应用都有得到全局快门传感器的技术支撑。如下图所示：

此外摄像头还用一种卷帘快门的图像传感器。我们身边大多数摄像头都属于卷帘快门，比如智能手机的主摄像头、自拍摄像头、建筑中的监控摄像头，甚至数码相机都是采用卷帘快门技术。这些应用场景也都需要捕捉彩色图像，因此需要相当高的分辨率。卷帘快门的设计目的是为了捕捉静态图像和视频拍摄，因此需要非常高的分辨率和颜色处理能力。但卷帘快门的缺点在于，它是进行逐行拍摄图像，整个图像只有一帧，拍摄时间长，曝光时间也长，如果拍摄对象是车辆这样的快速移动物体，图像可能会发生扭曲，无法显示拍摄对象原本的样子，而且功耗高，不适合始终工作的系统，所以卷帘快门不能用于计算机视觉 。而全局快门的原理则完全不同，它是一次拍摄整幅图像，所有像素同时曝光。拍摄时间非常短，成像效果准确，曝光时间短，功耗低，因此完全符合计算机视觉的要求 。

ST是全球排名前列的全局快门传感器供应商

说到图像传感器，意法半导体（ST）是这个领域的强者。ST在图像传感器和光学传感领域已有超过20年的发展史。ST在图像传感器上的研究最早可追溯到1986年，1999年ST收购VISION创建了影像事业部；2002年ST开始为智能手机产业供应摄像头模组，其中移动摄像头模块和ISP出货量达到100万，后来随着诺基亚照相手机销量的增长，对相机模块需求激增，到2009年ST的ISP出货量达到5亿；2012年ST将业务从手机通讯拓展至医学、航空、个人电脑和其它领域，2014年又推出ST dToF传感器传感器，2018年推出首款环境光传感器，2020年推出最新的全局快门传感器。

所以总结来看，目前ST图像传感器产品包括三大家族：一是飞行时间传感器 ，包括dToF直接传感器和iToF间接传感器。二是全局快门图像传感器 ，包括主动双目摄像头或结构光摄像头。三是环境光传感器 ，包括自动调节平衡技术。在全局快门图像传感器领域，ST共有两类产品：一类是VD55G0，像素40万；另一类是VD56G3，像素150万。这两种产品采用的都是ST 3D技术，最初的设计包括两层阵列，之后ST将其合二为一形成单一阵列。

据意法半导体亚太区影像事业部技术市场经理林国志的介绍，这两类产品拥有三大优势：首先我们的传感器940nm具有最高的量子效率，这会带来极高的NIR敏感度；其次，正方形传感器的分辨率与镜头最佳匹配，之所以采用正方形是因为计算机视觉的采集对象通常是正方形，比如人脸通常就是的正方形；最后，ST传感器拍摄时间很短，能够在确保准确成像的同时降低系统功耗。除了以上这些图像输出功能，ST的全局快门传感器还可以进行数据输出，其中之一就是光流输出，通过计算运动向量得出数据，传感器可以采集信息、输出数据，利用光流进行手势识别和追踪。ST的全局快门传感器可以应用在消费、工业、汽车等不同领域。

在消费和工业上的应用

不同行业对图像传感器的需求不同，在智能家居的应用上，用户并不希望家里有个摄像头全天候监视自己，又想要摄像头和传感器带来的协助舒适感。针对此，ST的全局快门传感器开发了一些列人机交互的功能，如人数统计、人脸识别等等。在笔记本/PC摄像头领域，ST有专用全局快门近红外图像传感器，也有存在检测和基本手势控制多合一ToF传感器，用于显示屏和摄像头亮度自动调节环境光传感器，还有基于全局快门或结构光的主动双目3D扫描摄像头ST还有一种解决方案，ST全局快门传感器+AI家电。其主要功能包括三大类：一是感测，二是计算，三是通信。计算机视觉技术基本上都需要这三步，首先要有许多传感器进行信息采集，包括ToF、IMU这些全局快门传感器，然后要将信息传至MCU这些AI深度学习算法得到产出，最后再将产出结果传至无线设备。

在上述这几个领域，ST已与客户合作，林国志介绍到，ST标准传感器开发评估套件目前已经上市，这项产品完全根据客户需求开发。我们交付的产品有裸片，客户还可以选择我们第三方提供的封装传感器或者摄像头模组，包括PCB、图像传感器、镜头和接口，共同构成整套工业用摄像头产品供应链。

汽车领域的应用情况

汽车这一新兴市场对摄像头的需求发展迅速，根据Yole的数据统计，2021年底车内摄像头的市场渗透率约为10%，而到2024年预计会达到50%。车内传感器主要包括四大类：车内摄像头，ADAS摄像头、观测摄像头和售后摄像头，主要用于行车记录仪。其中除了车内摄像头属于新品，其它产品都已经相当成熟。

车内摄像头也有多种，车辆评估标准体系Euro NCAP对车内监控系统分为两类：一类是驾驶员监控系统DMS，另一类是客舱监控系统CMS或者OMS。有效的驾驶员驾控系统也是自动驾驶的先决条件，确保必要时把控制权交还给适合驾驶且能够驾驶的驾驶员。驾驶员监控系统DMS摄像头安装在驾驶员面前，观测对象主要是脸，镜头视场角必须做得很大，大概50-60度，分辨率100-230万。另外很重要的一点是要必须要采用NIR摄像头，以便于在白天黑夜都对驾驶员进行监控，在漆黑环境下需要有光源投射在驾驶员脸上，但不能使用可见光，就需要NIR技术。下图中显示了NIR图像和普通摄像头模组的对比。

客舱监控系统观测的是车内所有乘员，但不同之处在于，需要进行物体探测和识别，所以需要彩色图像，而且观测范围比较宽广，因此镜头视场角需要更大（100度），分辨率需要更高（230万），才能获取观测域内所有细节信息。客舱占用监控+驾驶员监控二合一系统是将CMS、OMS和DMS进行结合，仅用单个摄像头就可以同时支持RGB和NIR。

ST有两代用于汽车的全局快门传感器。第一代包括四类产品：VD5661A具有160万分辨率，主要用于DMS。VD5761A具有230万分辨率，因为属于Mono（单色）所以也可以用于DMS。还有采用彩色RGB的VD6763A和RGB-NIR一体化的VD1762A。第一代ST全局传感器就已经能够覆盖所有客户需求。

第二代产品VB56G4A具备150万分辨率，主要用于驾驶员监控，包括三大要点：首先是高灵敏度，NIR的高灵敏度意味着无需强劲的LED光源，因为LED耗能会带来更高的功耗；其次是传感器面积小，意味着摄像头模组也可以做得更小，安装在各种机械装置内部更加容易；再就是内置处理，传感器有智能自动曝光算法，无需人工操作。ST标准传感器评估套件现在可按需求提供，其第三方供应商也可以提供成品摄像头模组，基于ST全局快门传感器的摄像头模组是成品，客户可以直接将模组集成到汽车系统内或用它测评传感器性能。

结语

ST在图像传感器和光学传感解决方案中有20余年的历史，全局快门传感器虽然是近几年才推出的产品，但ST全局快门传感器具有意法半导体专有的像素技术、更高的方形分辨率和多种嵌入式计算机视觉功能，完全满足计算机视觉应用要求。在出货、质量和服务方面，ST的全局快门传感器都排名市场前列。

*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。

今天是《半导体行业观察》为您分享的第3000内容，欢迎关注。

晶圆｜集成电路｜设备｜汽车芯片｜存储｜台积电｜AI｜封装

ST推出全新“智能传感器处理单元”，单芯片实现MEMS与ISPU

通过将信号处理和 AI 算法结合到 MEMS 传感器上，可实现本地决策，同时显着节省空间和功耗。

ST日前宣布推出智能传感器处理单元 (ISPU)，它结合了适合在同一芯片上运行 AI 算法和 MEMS 传感器的数字信号处理器 (DSP)。

除了缩小系统级封装器件的尺寸并将功耗降低多达 80% 之外，传感器和 AI 的融合还将决策置于系统最边缘处。从而令智能传感器能够满足感知、处理和行动的 Onlife 时代，带来数字技术与物理世界的融合。

Onlife 时代承认生活在互联技术的持续帮助下，享受自然、透明交互与无缝过渡，并且使在线和离线之间没有显著区别。借助 ISPU，ST通过将智能处理迁移到传感器侧来开启这个时代：不再是在边缘上（at Edge），而是在边缘内（in Edge）。

ST 的 ISPU 在功耗、封装、性能和价格四方面提供了实质性的优势。专有的超低功耗 DSP 可以使用许多工程师熟悉的 C 语言进行编程。它还允许量化的 AI 传感器支持全精度到单比特精度的神经网络。通过分析惯性数据确保了运动识别和异常检测等任务，具有卓越的准确性和高效率。

“虽然在技术上具有挑战性，但将 ST 的传感器与ISPU 集成在单芯片上确实可以将基于传感器的系统从在线体验提升为Onlife体验。通过减少数据传输来提高传感器的功能以加快决策速度，通过将数据保持在本地来增强隐私，同时减小尺寸和功耗，从而降低成本。”ST MEMS 子集团执行副总裁 Andrea Onetti 说。“此外，ISPU使用商业 AI 模型进行编程，并且可使用所有领先的 AI 工具进行操作。”

技术说明：

ST 专有的 C 语言可编程 DSP 是增强型 32 位精简指令集计算 (RISC) 。对于专用指令和硬件组件，它是可扩展的（在芯片设计阶段）。该处理器提供全精度浮点单元，使用快速四级流水线，从 16 位可变长度指令运行，并包括一个单周期 16 位乘法器。中断响应是一个特殊的四个周期。带有 ISPU 的 ST 传感器将采用标准 3mm x 2.5mm x 0.83mm 封装，并将与其 (ST) 前代产品引脚兼容，从而实现快速升级。

将传感器和 ISPU 结合起来非常节省功耗； ST 的计算表明，在传感器融合应用中，与系统级封装（SIP）方法相比，可节省 5-6 倍功耗，工作模式下显示 2-3 倍的功耗节省。

ST的传感器 ST：全局快门传感器，是计算机视觉首选成像技术

ST：全局快门传感器，是计算机视觉首选成像技术

ST推出全新“智能传感器处理单元”，单芯片实现MEMS与ISPU

大家都在看

相关推荐