自动驾驶中的9种传感器融合算法

在自动驾驶汽车中，传感器融合是融合来自多个传感器数据的过程。该步骤在机器人技术中是强制性的，因为它提供了更高的可靠性、冗余性以及最终的安全性。

为了更好地理解，让我们考虑一个简单的例子，如激光雷达和相机都在看着行人：

由于传感器是有噪声的，因此需要传感器融合算法来处理这些噪声，并尽可能进行最精确的估计。

在融合传感器时，我们实际上是在融合传感器数据，或者叫做数据融合。有9种方法可以构建数据融合算法。这9种方法又可以分为3大类。

按抽象级别进行传感器融合

最常见的融合类型是抽象级别的。在这种情况下，问题是“应该什么时候进行融合？”

文章激光雷达和摄像头的融合中描述了早期（EARLY）和后期（LATE）融合两种过程。

在业界，还有其他称呼：低级（Low Level）、中级（Mid-Level）和高级（High-Level）传感器融合。

低级别融合：融合原始数据

低级别传感器融合是关于融合来自多个传感器的原始数据。例如，融合来自激光雷达的点云数据和来自摄像头的像素级数据。

✅ 这种类型的融合在未来几年具有很大的潜力，因为其考虑了所有数据。

❌ 早期融合（Low-Level）几年前还很难做到的，因为所需的处理量很大。每毫秒可以将数十万个点与数十万个像素融合在一起。

下面是一个摄像头和激光雷达低级别融合的示例。

在此过程中使用了对象检测，但真正完成这项工作的是将3D点云投影到图像中，然后将其与像素关联起来。

中级别融合：融合检测数据

中级传感器融合是将传感器独立检测到的物体进行融合。

如果摄像头检测到障碍物，雷达也检测到它，我们把这些结果融合到一起形成对障碍物的位置、类别和速度的最佳估计。通常使用的方法是卡尔曼滤波器（贝叶斯算法）。

✅ 这个过程很容易理解，并且包含了几个现有的实现。

❌ 它严重依赖于检测器。如果一个失败，整个融合都可能失败。卡尔曼滤波器来解决这个问题！

中级传感器融合示例：

在此示例中，我们将来自激光雷达的3D边界框与来自对象检测算法的2D边界框融合在一起。该过程有效；但也可以逆转。可以将3D激光雷达的结果映射到2D中，并在2D影像中进行数据融合。

高级别融合：融合轨迹

最后，高级传感器融合是关于融合对象及其轨迹。我们不仅依赖于检测，还依赖于预测和跟踪。

✅ 此过程高一级，其优点是简单。

❌ 一个主要问题是可能会丢失太多信息。如果追踪是错误的，那么整件事都是错误的。

雷达和摄像头之间按抽象级别的数据融合图：

中心化级别的传感器融合

融合算法的第二类方法是按中心化级别来区分的。该场景下的问题是“融合在哪里发生？”。主计算机可以做，或者每个传感器可以做自己的检测和融合。一些方法是通过使用称为卫星架构的技术来做融合的。

我们来了解一下3种类型的融合：

我们以一辆经典的自动驾驶汽车为例。在这种情况下，每个传感器都有自己的计算机。所有这些计算机都连接到一个中央计算单元。

与此相反，Aptiv开发了一种卫星架构的架构。这个想法是：所有传感器都连接到一个中央单元上，该单元处理称为主动安全域控制器的智能。

在这个过程中，利用传感器的位置和传递的信息类型，可以帮助减轻车辆的总重量，并随着传感器的数量可以更好地扩展。

左图的情况如下：

✅ 这有几个优点，请阅读。

这是“中心化融合”的两个例子。当我们使用经典架构时，可能会遇到另外两种类型的融合。

雷达和摄像头之间按抽象级别的数据融合图：

按竞争级别的传感器融合

对传感器融合算法进行分类的最后一种方法是按竞争级别。

同样，有3种可能。

竞争融合

竞争融合是指传感器用于相同目的。例如，当同时使用雷达和激光雷达来检测行人时。这里发生的数据融合过程称为冗余，使用术语“竞争”。

互补融合

互补融合是指使用不同的传感器观察不同的场景来获取我们使用其他方式无法获得的东西。例如，使用多个摄像头构建全景图时。由于这些传感器相互补充，使用术语“互补”。

协同融合

最后，协同融合是关于使用两个或更多传感器来产生一个新场景，但是关于同一个对象的。例如，在使用2D传感器进行3D扫描或3D重建时。

希望这篇文章可以帮助您更好地了解如何使用传感器融合，以及如何区分不同的融合算法。

融合通常由贝叶斯算法完成，例如卡尔曼滤波器。我们可以融合数据来估计物体的速度、位置或类别。

数字孪生 多传感器融合标定算法汇总

多传感器数据融合是一个新兴的研究领域，是针对一个系统使用多种传感器这一特定问题而展开的一种关于数据处理的研究。多传感器数据融合技术是近几年来发展起来的一门实践性较强的应用技术，是多学科交叉的新技术，涉及到信号处理、概率统计、信息论、模式识别、人工智能、模糊数学等理论。

近年来，多传感器数据融合技术无论在军事还是民事领域的应用都极为广泛。多传感器融合技术已成为军事、工业和高技术开发等多方面关心的问题。这一技术广泛应用于C3I系统、复杂工业过程控制、机器人、自动目标识别、交通管制、惯性导航、海洋监视和管理、农业、遥感、医疗诊断、图像处理、模式识别等领域。

实践证明：与单传感器系统相比，运用多传感器数据融合技术在解决探测、跟踪和目标识别等问题方面，能够增强系统生存能力，提高整个系统的可靠性和鲁棒性，增强数据的可信度，并提高精度，扩展整个系统的时间、空间覆盖率，增加系统的实时性和信息利用率等。

1.基本概念及融合原理

多传感器数据融合概念

数据融合又称作信息融合或多传感器数据融合，对数据融合还很难给出一个统一、全面的定义。随着数据融合和计算机应用技术的发展，根据国内外研究成果，多传感器数据融合比较确切的定义可概括为：

充分利用不同时间与空间的多传感器数据资源，采用计算机技术对按时间序列获得的多传感器观测数据，在一定准则下进行分析、综合、支配和使用，获得对被测对象的一致性解释与描述，进而实现相应的决策和估计，使系统获得比它的各组成部分更充分的信息。

多传感器数据融合原理

多传感器数据融合技术的基本原理就像人脑综合处理信息一样，充分利用多个传感器资源，通过对多传感器及其观测信息的合理支配和使用，把多传感器在空间或时间上冗余或互补信息依据某种准则来进行组合，以获得被测对象的一致性解释或描述。

具体地说，多传感器数据融合原理如下：

2.多传感器数据融合方法

利用多个传感器所获取的关于对象和环境全面、完整的信息，主要体现在融合算法上。因此，多传感器系统的核心问题是选择合适的融合算法。对于多传感器系统来说，信息具有多样性和复杂性，因此，对信息融合方法的基本要求是具有鲁棒性和并行处理能力。

此外，还有方法的运算速度和精度；与前续预处理系统和后续信息识别系统的接口性能；与不同技术和方法的协调能力；对信息样本的要求等。一般情况下，基于非线性的数学方法，如果它具有容错性、自适应性、联想记忆和并行处理能力，则都可以用来作为融合方法。

多传感器数据融合虽然未形成完整的理论体系和有效的融合算法，但在不少应用领域根据各自的具体应用背景，已经提出了许多成熟并且有效的融合方法。

多传感器数据融合的常用方法基本上可概括为随机和人工智能两大类，随机类方法有加权平均法、卡尔曼滤波法、多贝叶斯估计法、Dempster-Shafer（D-S）证据推理、产生式规则等；而人工智能类则有模糊逻辑理论、神经网络、粗集理论、专家系统等。可以预见，神经网络和人工智能等新概念、新技术在多传感器数据融合中将起到越来越重要的作用。

随机类方法

加权平均法

信号级融合方法最简单、最直观方法是加权平均法，该方法将一组传感器提供的冗余信息进行加权平均，结果作为融合值，该方法是一种直接对数据源进行操作的方法。

卡尔曼滤波法

卡尔曼滤波主要用于融合低层次实时动态多传感器冗余数据。该方法用测量模型的统计特性递推，决定统计意义下的最优融合和数据估计。如果系统具有线性动力学模型，且系统与传感器的误差符合高斯白噪声模型，则卡尔曼滤波将为融合数据提供唯一统计意义下的最优估计。卡尔曼滤波的递推特性使系统处理不需要大量的数据存储和计算。

但是，采用单一的卡尔曼滤波器对多传感器组合系统进行数据统计时，存在很多严重的问题，例如：

多贝叶斯估计法

贝叶斯估计为数据融合提供了一种手段，是融合静环境中多传感器高层信息的常用方法。它使传感器信息依据概率原则进行组合，测量不确定性以条件概率表示，当传感器组的观测坐标一致时，可以直接对传感器的数据进行融合，但大多数情况下，传感器测量数据要以间接方式采用贝叶斯估计进行数据融合。

多贝叶斯估计将每一个传感器作为一个贝叶斯估计，将各个单独物体的关联概率分布合成一个联合的后验的概率分布函数，通过使用联合分布函数的似然函数为最小，提供多传感器信息的最终融合值，融合信息与环境的一个先验模型提供整个环境的一个特征描述。

D-S证据推理方法

D-S证据推理是贝叶斯推理的扩充，其3个基本要点是：基本概率赋值函数、信任函数和似然函数。D-S方法的推理结构是自上而下的，分三级。

第1级为目标合成，其作用是把来自独立传感器的观测结果合成为一个总的输出结果（ID）；第2级为推断，其作用是获得传感器的观测结果并进行推断，将传感器观测结果扩展成目标报告。这种推理的基础是：一定的传感器报告以某种可信度在逻辑上会产生可信的某些目标报告；

第3级为更新，各种传感器一般都存在随机误差，所以，在时间上充分独立地来自同一传感器的一组连续报告比任何单一报告可靠。因此，在推理和多传感器合成之前，要先组合（更新）传感器的观测数据。

产生式规则

产生式规则采用符号表示目标特征和相应传感器信息之间的联系，与每一个规则相联系的置信因子表示它的不确定性程度。当在同一个逻辑推理过程中，2个或多个规则形成一个联合规则时，可以产生融合。应用产生式规则进行融合的主要问题是每个规则的置信因子的定义与系统中其他规则的置信因子相关，如果系统中引入新的传感器，需要加入相应的附加规则。

人工智能类方法

模糊逻辑推理

模糊逻辑是多值逻辑，通过指定一个0到1之间的实数表示真实度，相当于隐含算子的前提，允许将多个传感器信息融合过程中的不确定性直接表示在推理过程中。如果采用某种系统化的方法对融合过程中的不确定性进行推理建模，则可以产生一致性模糊推理。

与概率统计方法相比，逻辑推理存在许多优点，它在一定程度上克服了概率论所面临的问题，它对信息的表示和处理更加接近人类的思维方式，它一般比较适合于在高层次上的应用（如决策），但是，逻辑推理本身还不够成熟和系统化。此外，由于逻辑推理对信息的描述存在很大的主观因素，所以，信息的表示和处理缺乏客观性。

模糊集合理论对于数据融合的实际价值在于它外延到模糊逻辑，模糊逻辑是一种多值逻辑，隶属度可视为一个数据真值的不精确表示。在MSF过程中，存在的不确定性可以直接用模糊逻辑表示，然后，使用多值逻辑推理，根据模糊集合理论的各种演算对各种命题进行合并，进而实现数据融合。

人工神经网络法

神经网络具有很强的容错性以及自学习、自组织及自适应能力，能够模拟复杂的非线性映射。神经网络的这些特性和强大的非线性处理能力，恰好满足了多传感器数据融合技术处理的要求。在多传感器系统中，各信息源所提供的环境信息都具有一定程度的不确定性，对这些不确定信息的融合过程实际上是一个不确定性推理过程。

神经网络根据当前系统所接受的样本相似性确定分类标准，这种确定方法主要表现在网络的权值分布上，同时，可以采用经*定的学习算法来获取知识，得到不确定性推理机制。利用神经网络的信号处理能力和自动推理功能，即实现了多传感器数据融合。

常用的数据融合方法及特性如表1所示。通常使用的方法依具体的应用而定，并且，由于各种方法之间的互补性，实际上，常将2种或2种以上的方法组合进行多传感器数据融合。

3.应用领域

随着多传感器数据融合技术的发展，应用的领域也在不断扩大，多传感器融合技术已成功地应用于众多的研究领域。多传感器数据融合作为一种可消除系统的不确定因素、提供准确的观测结果和综合信息的智能化数据处理技术，已在军事、工业监控、智能检测、机器人、图像分析、目标检测与跟踪、自动目标识别等领域获得普遍关注和广泛应用称重传感器。

军事应用

数据融合技术起源于军事领域，数据融合在军事上应用最早、范围最广，涉及战术或战略上的检测、指挥、控制、通信和情报任务的各个方面。

主要的应用是进行目标的探测、跟踪和识别，包括C31系统、自动识别武器、自主式运载制导、遥感、战场监视和自动威胁识别系统等。如，对舰艇、飞机、导弹等的检测、定位、跟踪和识别及海洋监视、空对空防御系统、地对空防御系统等。海洋监视系统包括对潜艇、鱼雷、水下导弹等目标的检测、跟踪和识别，传感器有雷达、声纳、远红外、综合孔径雷达等。

空对空、地对空防御系统主要用来检测、跟踪、识别敌方飞机、导弹和防空武器，传感器包括雷达、ESM（电子支援措施）接收机、远红外敌我识别传感器、光电成像传感器等。

迄今为止，美、英、法、意、日、俄等国家已研制出了上百种军事数据融合系统，比较典型的有：TCAC—战术指挥控制，BETA—战场利用和目标截获系统，AIDD—炮兵情报数据融合等。在近几年发生的几次局部战争中，数据融合显示了强大的威力，特别是在海湾战争和科索沃战争中，多国部队的融合系统发挥了重要作用。

复杂工业过程控制

复杂工业过程控制是数据融合应用的一个重要领域。目前，数据融合技术已在核反应堆和石油平台监视等系统中得到应用。融合的目的是识别引起系统状态超出正常运行范围的故障条件，并据此触发若干报警器。

通过时间序列分析、频率分析、小波分析，从各传感器获取的信号模式中提取出特征数据，同时，将所提取的特征数据输入神经网络模式识别器，神经网络模式识别器进行特征级数据融合，以识别出系统的特征数据，并输入到模糊专家系统进行决策级融合；专家系统推理时，从知识库和数据库中取出领域知识规则和参数，与特征数据进行匹配（融合）；最后，决策出被测系统的运行状态、设备工作状况和故障等。

机器人

多传感器数据融合技术的另一个典型应用领域为机器人。目前，主要应用在移动机器人和遥操作机器人上，因为这些机器人工作在动态、不确定与非结构化的环境中（如“勇气”号和“机遇”号火星车），这些高度不确定的环境要求机器人具有高度的自治能力和对环境的感知能力，而多传感器数据融合技术正是提高机器人系统感知能力的有效方法。

实践证明：采用单个传感器的机器人不具有完整、可靠地感知外部环境的能力。智能机器人应采用多个传感器，并利用这些传感器的冗余和互补的特性来获得机器人外部环境动态变化的、比较完整的信息，并对外部环境变化做出实时的响应。目前，机器人学界提出向非结构化环境进军，其核心的关键之一就是多传感器系统和数据融合。

遥感

多传感器融合在遥感领域中的应用，主要是通过高空间分辨力全色图像和低光谱分辨力图像的融合，得到高空问分辨力和高光谱分辨力的图像，融合多波段和多时段的遥感图像来提高分类的准确。数据融合技术可应用于地面车辆定位、车辆跟踪、车辆导航以及空中交通管制系统等。

全局监视

监视较大范围内的人和事物的运动和状态，需要运用数据融合技术。例如：根据各种医疗传感器、病历、病史、气候、季节等观测信息，实现对病人的自动监护；从空中和地面传感器监视庄稼生长情况，进行产量预测；根据卫星云图、气流、温度、压力等观测信息，实现天气预报。

4.存在问题及发展趋势

数据融合技术方兴未艾，几乎一切信息处理方法都可以应用于数据融合系统。随着传感器技术、数据处理技术、计算机技术、网络通讯技术、人工智能技术、并行计算软件和硬件技术等相关技术的发展，尤其是人工智能技术的进步，新的、更有效的数据融合方法将不断推出，多传感器数据融合必将成为未来复杂工业系统智能检测与数据处理的重要技术，其应用领域将不断扩大。

多传感器数据融合不是一门单一的技术，而是一门跨学科的综合理论和方法，并且，是一个不很成熟的新研究领域，尚处在不断变化和发展过程中压力传感器。

数据融合存在的问题

（1）尚未建立统一的融合理论和有效广义融合模型及算法；

（2）对数据融合的具体方法的研究尚处于初步阶段；

（3）还没有很好解决融合系统中的容错性或鲁棒性问题；

（4）关联的二义性是数据融合中的主要障碍；

（5）数据融合系统的设计还存在许多实际问题。

数据融合发展趋势

数据融合的发展趋势如下：

（1）建立统一的融合理论、数据融合的体系结构和广义融合模型；

（2）解决数据配准、数据预处理、数据库构建、数据库管理、人机接口、通用软件包开发问题，利用成熟的辅助技术，建立面向具体应用需求的数据融合系统；

（3）将人工智能技术，如，神经网络、遗传算法、模糊理论、专家理论等引入到数据融合领域；利用集成的计算智能方法（如，模糊逻辑＋神经网络，遗传算法＋模糊＋神经网络等）提高多传感融合的性能；

（4）解决不确定性因素的表达和推理演算，例如：引入灰数的概念；

（5）利用有关的先验数据提高数据融合的性能，研究更加先进复杂的融合算法（未知和动态环境中，采用并行计算机结构多传感器集成与融合方法的研究等）；

（6）在多平台／单平台、异类／同类多传感器的应用背景下，建立计算复杂程度低，同时，又能满足任务要求的数据处理模型和算法；

（7）构建数据融合测试评估平台和多传感器管理体系；

（8）将已有的融合方法工程化与商品化，开发能够提供多种复杂融合算法的处理硬件，以便在数据获取的同时就实时地完成融合。

5.结束语

随着研究者的不断努力，不久的将来，数据融合的基础理论、兼有鲁棒性和准确性的融合算法将不断地得到完善，实现技术将不断地得到更新，实际应用将不断地被扩展，多传感器数据融合技术必将不断地走向成熟。

来源：自动化与仪器仪表

相关问答

学习多传感器融合,数学和计算机都是非常重要的。数学是多传感器融合的理论基础,其中包括概率论、统计学、线性代数等数学知识,这些知识对于理解多传感器融合的...

工业应用时多采用4~20ma变送器,将各种传感器信号变成电流信号,或者转换为数字信号用hart总线,CAN总线,也可以用485总线传送。工业应用时多采用4~20ma变送器,...

信息融合课需要对按时序获得若干传感器的观测信号在一定准则下加以自动分析。综合处理已完成所需的决策和评估任务。而进行的信息处理过程。按照这一定义,多传...

1.解决方法2.由于PLC(可编程逻辑控制器)中的数字累积偏差可能是由于测量误差、传感器漂移或系统响应不准确等原因引起的,因此解决这个问题的方法可以是通过...

导航技巧通常应用于自动化设备和机器人领域,以确保设备能够准确地在空间中移动和定位。以下是一些建议用于提高机器定位导航的技巧:1.传感器选择:根据应用场...

Landsat8OLI的图像,包含多光谱8个波段,30米空间分辨率,一个全色波段,15米空间分辨率,以及热红外数据。ENVI5SP3的融合功能新增了Landsat8传感器,用G...Land.....

以下几个方面。首先,信息技术的高度融合性体现在各种技术领域之间的交叉融合。例如,计算机技术、通信技术、互联网技术等相互融合,形成了计算机网络和互联网的...

我整理出来的目前自动驾驶所需的相关岗位,主要分为三大类:算法、仿真及测试方向。下面就针对算法方向下的每一个细分类别所需的基本技能及职业发展规划一一介...

革命性的生产方法。可以称之为第四次工业革命。中国和德国是目前世界上最主要的制造业大国。在中国,当前的工业4.0的主要含义就是工业化与信息化的相互促...

尽管5G正在铺开,但有关下一代无线技术的讨论,已经在积极酝酿中。下周(3月24~25日),200多名研究人员将齐聚芬兰,在“6G无线峰会”上讨论如何带来...【6...