传感器与dsp 硬核科普！Modem，ISP，DSP，NPU等单元到底有啥用？

发布时间：2024-10-07 00:10:49

硬核科普！Modem、ISP、DSP、NPU等单元到底有啥用？

在Android系统生态中，单纯的处理器（CPU+GPU）性能并不能决定最终的用户体验，其背后还涉及到网络、系统和应用层面的优化（如各种游戏、网络加速引擎）、多核调度能力以及安全设计。接下来，我们就再来探秘一下SoC中其他构成单元的作用。

相关阅读：

硬核科普！为啥说SoC的性能取决于架构和工艺？

骁龙865为啥最厉害？CPU和GPU架构了解下！

Modem——网络先锋

PC要想无线上网需要安装无线网卡，但在手机SoC领域，“无线网卡”（基带，又称调制解调器或Modem）则是SoC芯片内部的组成部分之一，它将决定一款手机所支持的网络制式以及上网、下载速度。

可集成可外挂

Modem并非SoC的必选项，芯片商可以根据产品定位，选择将Modem直接集成进SoC，或是以独立芯片的形式，与SoC一起焊在手机的主板上。

比如，高通骁龙855就直接集成了骁龙X24 Modem，而骁龙865则取消了内置Modem设计，需要搭配额外的骁龙X55才能联网。

相对来说，直接集成Modem的SoC可以节省主板空间，在能耗方面的表现更好。

2020年，新款手机都会搭载5G SoC，即集成或外挂支持5G的Modem。

有关5G SoC的网络性能对比，以及影响它们最高速率的因素，感兴趣的朋友可以《都是5G网速最多差3倍！毫米波到底是个什么鬼？！》这篇文章。

和Modem一样，SoC的Wi-Fi和蓝牙模块也能选择直接集成在SoC，或是通过外挂芯片的形式实现。

比如，骁龙855就直接集成了Wi-Fi和蓝牙单元，而骁龙865则需要外挂独立的FastConnect 6800芯片，才能支持最新的Wi-Fi 6和蓝牙5.1网络。联发科天玑1000+则是直接在SoC内集成了Wi-Fi6单元的代表。

理性看待Modem性能

目前，三大运营商对4G和5G网络都采取了限速的策略，其中4G最高下行速率为300Mbps，而5G网络也不过1Gbps。

这意味着，无论SoC集成或外挂的Modem性能有多强，短期内都无法超过这个上限。

因此，在选购SoC和手机时，我们也无需太过在意Modem的最大理论速率，而是应该把注意力放在它对5G功能的支持上，比如是否支持双模组网、支持多少频段、能否实现双卡5G全网通等等。

ISP——成像关键

如今配备相同4800万或6400万像素传感器的智能手机有很多，但它们拍照成像的实际效果却存在很大的差距。

源于手机厂商方面的成像算法优化属于“软实力”，SoC内集成的ISP单元将决定“硬实力”。

ISP的意义

ISP即图像处理单元，一款SoC能支持几颗摄像头，支持最高多少像素的传感器、可以录制多少分辨率和帧数（如8K/30FPS）的视频、支持拍摄多少FPS的慢动作、是否支持HDR视频，以及拍照成像的计算，都离不开ISP的支持。

换句话说，ISP规格越强，就支持更先进的摄像头，在搭配相同摄像头时具备更好的成像底蕴（不是绝对，成像算法需要复杂的软硬协同，弄不好就变成了“负优化”）。

ISP的命名规范

在ISP的命名中，高通骁龙的命名也许是最规范的，比如骁龙710集成的ISP单元型号为Spectra 250、骁龙765为Spectra 350、骁龙865是Spectra 480，通过后缀数字我们一眼就能知道谁更强。

麒麟家族则喜欢用x.0标注，比如麒麟980/麒麟810集成了ISP4.0，而麒麟990则升级到ISP5.0。联发科的ISP更爱“堆核”，比如Helio G90系列集成了3核心的ISP，而天玑1000的ISP则拥有5个核心。

DSP——不再单纯

DSP即数字信号处理器，它原本主要用于处理音频信号，比如语音降噪、数模转换和实现特殊音效等。只是，在高通骁龙家族中，DSP单元的作用得以进一步升华。

熟悉又陌生的DSP

我们都知道DSP是SoC的组成部分之一，但在海思麒麟、联发科和三星旗下SoC的结构图中，我们根本看不到DSP单元的影子。但是，在高通骁龙移动平台中，DSP往往会被重点标注，从骁龙660的Hexagon 680一路升级到骁龙865的Hexagon 698，后缀数字越大性能越强。

DSP的跨界应用

随着VR/AR应用，以及AI人工智能的兴起，高通赋予了DSP单元更多能力，其中就包括向量扩展（HVX）和Tensor张量加速器。

没办法，骁龙SoC一直都没有集成独立的NPU单元，其主打的“高通人工智能引擎AI Engine”需要CPU、GPU、DSP、内存、缓存等模块协同作战。而其他芯片商的SoC很早以前就引入了NPU模块，所以无需让DSP进行太大的改变。

NPU——聪明靠它

2017年底，华为推出的麒麟970第一次引入了NPU（神经网络处理器）概念，让SoC也具备了更强的本地（端侧）AI运算能力（类似于“硬解”），执行效率可以秒杀CPU的“软解”。至此，NPU单元就与AI划上了等号。

从麒麟970的单核NPU、麒麟980的双核NPU，到最新的麒麟990 5G已经集成了2+1三核NPU

无处不在的AI

最开始，AI主要还是用于拍照，比如取景时的智能场景识别功能，让系统可以快速识别拍摄的物体和场景，并自动做出优化调教。

随后，AI功能逐渐拓展，从手持超级夜景、AI语音助手、AI游戏引擎、AI网络加速、AI节能优化、AI智慧识别、AI识图翻译......几乎所有的应用场景都离不开AI加速运算。

因此，一颗SoC芯片如果没有足够的AI动力，都不好意思出门打招呼。

不一样的AI单元

不同品牌的SoC，对AI单元的命名和实现方法略有不同，除了高通骁龙AI Engine引擎之中没有独立的NPU单元以外，联发科在Helio P60/P90引入的NeuroPilot AI技术最早也是通过多个单元协同计算（APU+CPU+GPU，这个时期集成的APU并非单独的硬件，它更像是骁龙DSP中全新集成的张量加速器）。

但从天玑1000开始，联发科也推出了独立AI处理器（APU3.0），这颗旗舰级SoC在苏黎世AI中的跑分成绩已经可以超越麒麟990 5G。

三星从Exynos 9820开始在SoC内部集成了独立的NPU单元，最新推出的Exynos 980和Exynos 990集成的NPU单元性能也得以进一步增强。

三星Exynos 980 SoC的构成

需要注意的是，如今AI单元在手机日常的应用领域还处于初级阶段，它的重要性还远不如CPU、GPU和ISP，属于锦上添花的存在。

其他——寂寞英雄

除了上述“知名”的单元，手机SoC内还集成有很多功能模块，它们虽然不太起眼，但背后承担的任务也非常重要呢。

内存/存储控制器

我们都知道即将量产的LPDDR5内存性能远胜当前主流的LPDDR4X，而UFS3.0闪存的读取速度也可以秒杀UFS2.1，但并不是所有SoC都支持这些最新的技术标准。以LPDDR5内存为例，暂时只有骁龙865和Exynos 990有资格享用，麒麟990和联发科天玑1000只支持到LPDDR4X。

协处理器

很多SoC内都集成有一个名为“协处理器”的单元（如高通骁龙SoC内集成的Sensor Hub、麒麟980内集成的i8），它们大多采用更加省电的ARM Cortex-M系列架构打造，作用是辅助CPU，用于对加速感应器、陀螺仪、指南针和全新气压计等传感器进行7×24小时不间断的检测、统计、再加工，可让你安心进行计步、开启GPS定位等功能而不必担心耗费电力。

安全模块

得益于更加方便的移动支付，很多用户都已经习惯了“无现金消费”。然而，谁来确保手机内隐私数据和支付相关认证的安全？为了解决这一问题，很多SoC都开始集成专用的安全模块，比如麒麟芯片内置的inSE安全芯片、骁龙芯片集成的SPU安全处理器等等。

它们的作用，就是可以将人脸识别、指纹信息、ISP、DSP、内存等所有参与模块生成的安全数据都保存在本地而无需上传云端，从而最大限度提升系统安全性。

其他模块

SoC中还集成有显示、音频和视频单元，它们会影响手机能使用多少分辨率的屏幕、支持哪些格式的音频/视频编解码。此外，一款手机所能兼容的快速充电技术，也受到SoC内某些单元的牵制，比如骁龙710仅支持QC4快充，而骁龙675却能支持效率更高的QC4+。还好，这些单元模块对SoC的性能几乎无影响，我们只需简单了解即可。

CEVA全新高性能传感器中枢DSP架构SensPro—助力智能感知发展

CEVA，全球领先的无线连接和智能传感技术的授权许可厂商(NASDAQ：CEVA) 发布业界首个高性能传感器中枢DSP架构SensPro™，设计用于处理情境感知设备中的多种传感器处理和融合工作负载。

SensPro专用处理器可以满足业界对高效处理日益增多的各类传感器的需求，这些传感器是智能手机、机器人、汽车、AR / VR耳机、语音助手、智能家居设备，以及正在通过工业4.0等举措进行革新的新兴工业和医疗应用所需要的。这些传感器包括摄像头、雷达、LiDAR、飞行时间(ToF)、麦克风和惯性测量单元(IMU)，它们从图像、声音、RF和运动中生成多种类型和比特率的数据，可用于创建完整的3D情境感知设备。

为了以最高的每瓦性能处理复杂的多传感器处理用例，SensPro的全新架构结合了高动态范围信号处理、点云创建(point cloud creation)和深度神经网络(DNN)训练的需求，支持高性能单精度和半精度浮点数学功能，并且为语音、图像、DNN推理处理和同时定位和映射(SLAM)提供大量8位和16位并行处理能力。SensPro集成了广泛使用的CEVA-BX标量DSP，它提供了从单传感器系统设计到多传感器的情境感知设计的无缝移植路径。

Yole Développement (Yole)传感技术部门技术和市场分析师Dimitrios Damianos表示：“各种传感器在智能系统中的使用持续增加，为环境和环境感知提供了更精确的建模。传感器正在变得越来越智能，目标不是获取更多数据，而是获得更高质量的数据，尤其是在环境/周围感知的情况下，例如：使用结合了麦克风、压力、湿度、惯性、温度和气体传感器的环境传感器中枢(智能家居/办公室)，以及ADAS/AV中的环境感知(situational awareness)，其中许多传感器(雷达、LIDAR、摄像头、IMU、超声波等)必须协同工作以了解其周围环境”(1)。

Yole计算和软件技术与市场分析师Yohann Tschudi表示：“挑战在于处理和融合来自不同类型传感器的不同类型数据。通过结合使用标量和矢量处理、浮点和定点数学运算以及先进的微体系结构，SensPro为系统和SoC设计人员提供了统一的处理器体系结构，以满足任何情境感知多传感器设备的需求。”

SensPro使用高度可配置的8路VLIW架构，因而易于调整以适应广泛的应用。它采用了先进的微体系架构，该架构结合了标量和矢量处理单元，并集成了先进的多级流水线，在7nm工艺节点处的运行频率为1.6GHz。SensPro集成了用于控制代码执行的CEVA-BX2标量处理器，性能达到4.3 CoreMark / MHz。它采用宽SIMD可扩展处理器架构进行并行处理，可配置多达1024个8x8 MAC、256个16x16 MAC，专用的8x2 二进制神经网络支持，以及64个单精度和128个半精度浮点MAC，使得SensPro在8x8网络推理、二进制神经网络推理和浮点运算的性能分别高达3 TOPS、20 TOPS和400 GFLOPS。SensPro的其他主要特性包括提供每秒400GB带宽的内存架构、4路指令缓存、2路矢量数据缓存、DMA以及用于从数据交换中减轻DSP负荷的队列和缓冲区管理器。

为以加快系统设计，SensPro随附一套先进的软件和开发工具，包括LLVM C / C ++编译器、基于Eclipse的集成开发环境(IDE)、OpenVX API、OpenCL软件库、带有CDNN-Invite API以加入自定义AI引擎的CEVA 深度神经网络(CDNN)图形编译器、CEVA-CV 图像功能、CEVA-SLAM 软件开发套件和视觉程序库、ClearVox降噪功能、WhisPro语音识别、MotionEngine 传感器融合以及SenslinQ 软件架构。

最初，SensPro DSP将提供三种配置，每种配置均包括一个CEVA-BX2标量处理器和各种矢量单元，经配置用于实现最佳的用例处理：

SP250 –具有256个8x8 MAC的单矢量单元，瞄准图像、视觉和以声音为中心的应用

SP500F –具有512个8x8 MAC和64个单精度浮点MAC的单矢量单元，瞄准以SLAM为中心的应用

SP1000 –具有1024个8x8 MAC和二进制网络支持的双矢量单元，瞄准以AI为中心的应用

CEVA研究与开发副总裁Ran Snir表示：“随着现代化系统中传感器的数量和种类不断增多，而且它们的计算需求大不相同，我们着手从头开始设计一种全新的体系结构以应对这个挑战。我们将SensPro构建为高度可配置的整体架构，可以结合标量、矢量处理和AI加速功能来处理这些繁重的工作负载，同时利用了多级流水线、并行处理和多任务处理的最新微架构设计技术，其成果就是用于传感器中枢的功能最强大DSP架构，并且我们非常高兴与客户和合作伙伴一起工作，将基于SensPro的情境感知产品推向市场。”

传感器与dsp 硬核科普！Modem，ISP，DSP，NPU等单元到底有啥用？

硬核科普！Modem、ISP、DSP、NPU等单元到底有啥用？

CEVA全新高性能传感器中枢DSP架构SensPro—助力智能感知发展

大家都在看

相关推荐