多传感器融合 清华大学取得多传感器融合感知方法及装置专利，提高了目标检测和道路分割的精度

清华大学取得多传感器融合感知方法及装置专利，提高了目标检测和道路分割的精度

金融界2024年1月1日消息，据国家知识产权局公告，清华大学取得一项名为“一种多传感器融合感知方法及装置“，授权公告号CN115861601B，申请日期为2022年12月。

专利摘要显示，本申请提供了一种多传感器融合感知方法及装置，涉及融合感知技术领域，该方法包括：利用Transformer编码器对点云数据的特征张量进行编码，得到三维体素特征图；将三维体素特征图进行鸟瞰视角映射得到二维特征图；利用候选区域生成网络对二维特征图进行处理，得到点云ROI区域，从点云ROI区域提取出点云ROI特征；对点云数据和RGB图像进行处理得到伪点云图像，从伪点云图像上提取出伪点云ROI特征；利用交叉注意力融合模型对点云ROI特征和伪点云ROI特征进行处理，得到融合后的ROI特征；利用感知模型对融合后的ROI特征进行处理，得到三维目标检测框、目标类别以及道路分割结果。本申请提高了目标检测和道路分割的精度。

本文源自金融界

科普：多传感器融合基础知识

来源：新机器视觉 侵删

多传感器信息融合（Multi-sensor Information Fusion,MSIF），就是利用计算机技术将来自多传感器或多源的信息和数据，在一定的准则下加以自动分析和综合，以完成所需要的决策和估计而进行的信息处理过程。

硬同步： 又称硬件同步，使用同一种硬件同时发布触发采集命令，实现各传感器采集、测量的时间同步。做到同一时刻采集相同的信息。

软同步： 又称软件同步，分为时间同步和空间同步。

（1）时间同步：又称时间戳同步，通过统一的主机给各个传感器提供基准时间，各传感器根据已经校准后的各自时间为各自独立采集的数据加上时间戳信息，可以做到所有传感器时间戳同步，但由于各个传感器各自采集周期相互独立，无法保证同一时刻采集相同的信息。

（2）空间同步： 将不同传感器坐标系的测量值转换到同一个坐标系中，其中激光传感器在高速移动的情况下需要考虑当前速度下的帧内位移校准。

多传感器融合的原理： 多传感器信息融合技术的基本原理就像人的大脑综合处理信息的过程一样，将各种传感器进行多层次、多空间的信息互补和优化组合处理，最终产生对观测环境的一致性解释。在这个过程中要充分地利用多源数据进行合理支配与使用，而信息融合的最终目标则是基于各传感器获得的分离观测信息，通过对信息多级别、多方面组合导出更多有用信息。这不仅是利用了多个传感器相互协同操作的优势，而且也综合处理了其它信息源的数据来提高整个传感器系统的智能化。

后融合算法：

1、每个传感器各自独立处理生成的目标数据。

2、每个传感器都有自己独立的感知，比如激光雷达有激光雷达的感知，摄像头有摄像头的感知，毫米波雷达也会做出自己的感知。

3、当所有传感器完成目标数据生成后，再由主处理器进行数据融合。

前融合算法：

1、只有一个感知的算法。对融合后的多维综合数据进行感知。

2、在原始层把数据都融合在一起，融合好的数据就好比是一个Super传感器，而且这个传感器不仅有能力可以看到红外线，还有能力可以看到摄像头或者RGB，也有能力看到LiDAR的三维信息，就好比是一双超级眼睛。在这双超级眼睛上面，开发自己的感知算法，最后会输出一个结果层的物体。

多传感器融合常用方法：

（1）加权平均法

信号级融合方法最简单直观的方法是加权平均法，将一组传感器提供的冗余信息进行加权平均，结果作为融合值。该方法是一种直接对数据源进行操作的方法。

（2）卡尔曼滤波法

主要用于融合低层次实时动态多传感器冗余数据。该方法用测量模型的统计特性递推，决定统计意义下的最优融合和数据估计。如果系统具有线性动力学模型，且系统与传感器的误差符合高斯白噪声模型，则卡尔曼滤波将为融合数据提供唯一统计意义下的最优估计。

卡尔曼滤波的递推特性使系统处理无需大量的数据存储和计算。但是采用单一的卡尔曼滤波器对多传感器组合系统进行数据统计时，存在很多严重问题，例如：① 在组合信息大量冗余情况下，计算量将以滤波器维数的三次方剧增，实时性难以满足。② 传感器子系统的增加使故障概率增加，在某一系统出现故障而没有来得及被检测出时，故障会污染整个系统，使可靠性降低。

（3）多贝叶斯估计法

将每一个传感器作为一个贝叶斯估计，把各单独物体的关联概率分布合成一个联合的后验概率分布函数，通过使联合分布函数的似然函数为最小，提供多传感器信息的最终融合值，融合信息与环境的一个先验模型以提供整个环境的一个特征描述。

（4）D-S证据推理法

该方法是贝叶斯推理的扩充，包含3个基本要点：基本概率赋值函数、信任函数和似然函数。

D-S方法的推理结构是自上而下的，分为三级：第一级为目标合成，其作用是把来自独立传感器的观测结果合成为一个总的输出结果（ID）；第二级为推断，其作用是获得传感器的观测结果并进行推断，将传感器观测结果扩展成目标报告。这种推理的基础是：一定的传感器报告以某种可信度在逻辑上会产生可信的某些目标报告；第三级为更新，各传感器一般都存在随机误差，因此在时间上充分独立地来自同一传感器的一组连续报告比任何单一报告更加可靠。所以在推理和多传感器合成之前，要先组合（更新）传感器的观测数据。

（5）产生式规则

采用符号表示目标特征和相应传感器信息之间的联系，与每一个规则相联系的置信因子表示它的不确定性程度。当在同一个逻辑推理过程中，2个或多个规则形成一个联合规则时，可以产生融合。应用产生式规则进行融合的主要问题是每个规则置信因子的定义与系统中其他规则的置信因子相关，如果系统中引入新的传感器，需要加入相应的附加规则。

（6）模糊逻辑推理

模糊逻辑是多值逻辑，通过指定一个0到1之间的实数表示真实度（相当于隐含算子的前提），允许将多个传感器信息融合过程中的不确定性直接表示在推理过程中。如果采用某种系统化的方法对融合过程中的不确定性进行推理建模，则可以产生一致性模糊推理。

与概率统计方法相比，逻辑推理存在许多优点，它在一定程度上克服了概率论所面临的问题，对信息的表示和处理更加接近人类的思维方式，一般比较适合于在高层次上的应用（如决策）。但是逻辑推理本身还不够成熟和系统化。此外由于逻辑推理对信息的描述存在很多的主观因素，所以信息的表示和处理缺乏客观性。

模糊集合理论对于数据融合的实际价值在于它外延到模糊逻辑，模糊逻辑是一种多值逻辑，隶属度可视为一个数据真值的不精确表示。在MSF过程中，存在的不确定性可以直接用模糊逻辑表示，然后使用多值逻辑推理，根据模糊集合理论的各种演算对各种命题进行合并，进而实现数据融合。

（7）人工神经网络法

神经网络具有很强的容错性以及自学习、自组织及自适应能力，能够模拟复杂的非线性映射。神经网络的这些特性和强大的非线性处理能力，恰好满足多传感器数据融合技术处理的要求。在多传感器系统中，各信息源所提供的环境信息都具有一定程度的不确定性，对这些不确定信息的融合过程实际上是一个不确定性推理过程。神经网络根据当前系统所接受的样本相似性确定分类标准，这种确定方法主要表现在网络的权值分布上，同时可以采用学习算法来获取知识，得到不确定性推理机制。利用神经网络的信号处理能力和自动推理功能，即实现了多传感器数据融合。

多传感器融合层次（级别）

在多传感器信息融合中，按其在融合系统中信息处理的抽象程度可分为三个层次：数据级融合、特征级融合和决策级融合；

1）数据级融合：

—— 也称为像素级融合，属于底层数据融合；将多个传感器的原始观测数据(raw data)直接进行融合，然后再从融合数据中提取特征向量进行判断识别；

—— 数据级融合要求多个传感器是同质的（传感器观测的是同一物理量），否则需要进行尺度校准。

—— 数据级融合不存在数据丢失的问题，得到的结果也作为准确；但是计算量大，对系统通信带宽要求较高；

多传感器数据级融合基本原理示意图

2）特征级融合

属于中间层次级融合，先从每个传感器提供的原始观测数据中提取代表性的特征，再把这些特征融合成单一的特征向量；其中选择合适的特征进行融合是关键；特征信息包括边缘、方向、速度、形状等。

特征层融合可划分为两大类：目标状态融合、目标特性融合。

目标状态融合： 主要应用于多传感器的目标跟踪领域；融合系统首先对传感器数据进行预处理以完成数据配准，在数据配准之后，融合处理主要实现参数关联和状态估计。

目标特性融合： 就是特征层联合识别，它的实质就是模式识别问题；在融合前必须先对特征进行关联处理，再对特征矢量分类成有意义的组合；

在融合的三个层次中，特征层融合技术发展较为完善，并且由于在特征层已建立了一整套的行之有效的特征关联技术，可以保证融合信息的一致性；此级别融合对计算量和通信带宽要求相对降低，但由于部分数据的舍弃使其准确性也有所下降。

多传感器特征级融合基本原理示意图

3）决策级融合

—— 属于高层次级融合，是对数据高层次级的抽象，输出是一个联合决策结果，在理论上这个联合决策应比任何单传感器决策更精确或更明确；

—— 决策层融合在信息处理方面具有很高的灵活性，系统对信息传输带宽要求很低，能有效地融合反映环境或目标各个侧面的不同类型信息，而且可以处理非同步信息；

—— 由于环境和目标的时变动态特性、先验知识获取的困难、知识库的巨量特性、面向对象的系统设计要求等，决策层融合理论与技术的发展仍受到一定的限制；

多传感器决策级融合基本原理示意图

多传感器融合的体系结构

根据对原始数据处理方法的不同，多传感器信息融合系统的体系结构可分为三种：集中式、分布式和混合式。

1）集中式 — 将各传感器获得的原始数据直接送到中央处理器进行融合处理，可以实现实时融合；

集中式体系结构示意图

优点：

a、结构简单，其数据处理的精度高，算法灵活，融合速度快；

缺点：

a、各传感器的流向是由低层向融合中心单向流动，各传感器之间缺乏必要的联系；

b、中央处理器计算和通信负担过重，系统容错性差，系统可靠性较低；

2）分布式 — 先对各个独立传感器所获得的原始数据进行局部处理，然后再将结果送入中央处理器进行融合处理来获得最终的结果；

分布式体系结构示意图

优点：

a、每个传感器都具有估计全局信息的能力，任何一种传感器失效都不会导致系统崩溃，系统可靠性和容错性高；

b、对通信带宽要求低，计算速度快，可靠性和延续性好；

缺点：

a、传感器模块需要具备应用处理器，这样的话自身的体积将更大，功耗也就更高；

b、中央处理器只能获取各个传感器经过处理后的对象数据，而无法访问原始数据；因此，想要“放大”感兴趣的区域将很难实现；

3）混合式 — 集中式和分布式的混合应用，即部分传感器采用集中式融合方式，剩余的传感器采用分布式融合方式；

混合式体系结构示意图

特点：

a、兼顾了集中式融合和分布式的优点，稳定性强，且具有较强的使用能力；

b、对通信带宽和计算能力要求较高。

融合的先决条件

1）运动补偿

a、ego motion 自身运动补偿

即考虑传感器在采集过程中的某一时间戳内，由于车辆自身的运动，采集的对象会在该时间戳内发生相对位移变化；

例如：以激光雷达为例，采集一圈需要0.1s，在这0.1s内，车身本身会发生一定的位移，如果不考虑车辆本身位移的情况，检测出来的目标位置就会产生较大误差；

b、motion from others 来自于其他目标的运动补偿

即考虑传感器在采集过程中的某一时间戳内，运动物体由于自身运动会产生相对位移变化；

2）时间同步

通过统一的主机给各个传感器提供基准时间，各传感器根据已经校准后的各自时间为各自独立采集的数据加上时间戳信息，以做到所有传感器时间戳同步；但由于各个传感器各自采集周期相互独立，无法保证同一时刻采集相同的信息。

以GPS时间戳为基准的时间同步方法示意图

在很多自动驾驶车辆的传感器中，大部分支持GPS时间戳的时间同步方法；

3）空间同步

将不同传感器坐标系的测量值转换到同一个坐标系中；

—— 传感器标定是自动驾驶的基本需求，良好的标定是多传感器融合的基础, 自动驾驶车辆上的多个/多种传感器之间的坐标关系是需要确定的。

—— 外参是决定传感器和外部某个坐标系的转换关系，比如姿态参数。

例如：摄像机和雷达的融合， 需要建立精确的雷达坐标系、三维世界坐标系、摄像机坐标系、图像坐标系和像素坐标系之间的坐标转换关系；

激光雷达和相机联合标定示意图

多传感器融合基本思路示例

1）毫米波雷达和摄像头数据融合基本思路

—— 这两种传感器相融合，多数情况下都是以摄像头数据为主，毫米波雷达作为辅助；

—— 将毫米波雷达返回的目标点投影到图像上，围绕该点并结合先验知识，生成一个矩形的感兴趣区域，然后我们只对该区域内进行目标检测。

—— 他们融合的优点是可以迅速地排除大量不会有目标的区域，极大地提高识别速度。

2）摄像头和激光雷达数据融合基本思路

—— 障碍物的检测可以使用激光雷达进行物体聚类，但是对于较远物体过于稀疏的激光线数聚类的效果较差，因此利用视觉图像信息进行目标检测，进而获取障碍物的位置，同时视觉还可以给出障碍物类别信息；

—— 融合的关键是需要将摄像头和激光雷达进行联合标定，获取两者坐标系的空间转换关系；可以通过标定的方式，把激光雷达投射到图像的坐标系中，建立图像的像素点，和激光雷达投影后的点之间做匹配，然后通过某种优化方程，来解决匹配问题；

—— 激光雷达可以得到目标的3D 数据（x, y , z)，通过标定参数，以及相机本身的内参，可以把激光雷达的3D点投射到图像上，图像上的某些像素就会获得激光雷达的深度信息，然后便可以做基于图像的分割或者深度学习模型；

—— 融合过程中的时候，因为两者视场角的不同，可能会造成噪点或者漏点；

相机和激光雷达融合效果示意图

3）激光雷达和毫米波雷达融合的基本思路（待完善）

激光雷达和毫米波雷达融合效果示意图

4）相机、毫米波雷达和激光雷达三者融合的基本思路（待完善）

相关问答

学习多传感器融合,数学和计算机都是非常重要的。数学是多传感器融合的理论基础,其中包括概率论、统计学、线性代数等数学知识,这些知识对于理解多传感器融合的...

一、推进信息技术与教育教学的深度融合1、运用“现代信息技术”,更新教学理念。利用网上学习交互性,利用信息资源,引入时代活水。2、信息技术课程作为一门专...

毫无疑问,人工智能和物联网是近年来最为热门的新兴技术。究竟二者之间能否融合?融合以后会带来怎样的影响?要说清楚,那就得先来说说什么是人工智能。我们用a...

[回答]智能机器人用到的关键技术:外部传感器包括:视觉(测量、认识传感器)、触觉(接触、压觉、滑动觉传感器)、力觉(力、力矩传感器)、接近觉(接近觉...

[回答]图像融合在图像处理中的作用:①利用多个传感器提供的冗余信息可提高融合图像的精确性及可靠性。融合图像具有较强的鲁棒性,即使个别传感器故障也不...

...1、硬件容易标准化弱电这个行业,是需要很多的硬件支持,比如摄像头、线缆、交换机、存储、解码器、大屏等硬件,但目前为止大部分硬件都已经被标准化,性能非...

这种技术主要依赖于传感器、计算机和电子控制系统等硬件设备,并结合了机器学习、人工智能和深度学习等多种数学模型和算法。高阶智能驾驶技术在不同场景下有着...

[回答]智能机器人用到的关键技术:外部传感器包括:视觉(测量、认识传感器)、触觉(接触、压觉、滑动觉传感器)、力觉(力、力矩传感器)、接近觉(接近觉...

[回答]自动驾驶功能的实现有赖于感知、定位、决策、执行四个环节的配合。感知层通过多维传感器模拟人眼识别道路上的人、物及标识等,决策层通过算法融合、...

[回答]智能机器人用到的关键技术:外部传感器包括:视觉(测量、认识传感器)、触觉(接触、压觉、滑动觉传感器)、力觉(力、力矩传感器)、接近觉(接近觉...