自动驾驶中的9种传感器融合算法

在自动驾驶汽车中，传感器融合是融合来自多个传感器数据的过程。该步骤在机器人技术中是强制性的，因为它提供了更高的可靠性、冗余性以及最终的安全性。

为了更好地理解，让我们考虑一个简单的例子，如激光雷达和相机都在看着行人：

由于传感器是有噪声的，因此需要传感器融合算法来处理这些噪声，并尽可能进行最精确的估计。

在融合传感器时，我们实际上是在融合传感器数据，或者叫做数据融合。有9种方法可以构建数据融合算法。这9种方法又可以分为3大类。

按抽象级别进行传感器融合

最常见的融合类型是抽象级别的。在这种情况下，问题是“应该什么时候进行融合？”

文章激光雷达和摄像头的融合中描述了早期（EARLY）和后期（LATE）融合两种过程。

在业界，还有其他称呼：低级（Low Level）、中级（Mid-Level）和高级（High-Level）传感器融合。

低级别融合：融合原始数据

低级别传感器融合是关于融合来自多个传感器的原始数据。例如，融合来自激光雷达的点云数据和来自摄像头的像素级数据。

✅ 这种类型的融合在未来几年具有很大的潜力，因为其考虑了所有数据。

❌ 早期融合（Low-Level）几年前还很难做到的，因为所需的处理量很大。每毫秒可以将数十万个点与数十万个像素融合在一起。

下面是一个摄像头和激光雷达低级别融合的示例。

在此过程中使用了对象检测，但真正完成这项工作的是将3D点云投影到图像中，然后将其与像素关联起来。

中级别融合：融合检测数据

中级传感器融合是将传感器独立检测到的物体进行融合。

如果摄像头检测到障碍物，雷达也检测到它，我们把这些结果融合到一起形成对障碍物的位置、类别和速度的最佳估计。通常使用的方法是卡尔曼滤波器（贝叶斯算法）。

✅ 这个过程很容易理解，并且包含了几个现有的实现。

❌ 它严重依赖于检测器。如果一个失败，整个融合都可能失败。卡尔曼滤波器来解决这个问题！

中级传感器融合示例：

在此示例中，我们将来自激光雷达的3D边界框与来自对象检测算法的2D边界框融合在一起。该过程有效；但也可以逆转。可以将3D激光雷达的结果映射到2D中，并在2D影像中进行数据融合。

高级别融合：融合轨迹

最后，高级传感器融合是关于融合对象及其轨迹。我们不仅依赖于检测，还依赖于预测和跟踪。

✅ 此过程高一级，其优点是简单。

❌ 一个主要问题是可能会丢失太多信息。如果追踪是错误的，那么整件事都是错误的。

雷达和摄像头之间按抽象级别的数据融合图：

中心化级别的传感器融合

融合算法的第二类方法是按中心化级别来区分的。该场景下的问题是“融合在哪里发生？”。主计算机可以做，或者每个传感器可以做自己的检测和融合。一些方法是通过使用称为卫星架构的技术来做融合的。

我们来了解一下3种类型的融合：

我们以一辆经典的自动驾驶汽车为例。在这种情况下，每个传感器都有自己的计算机。所有这些计算机都连接到一个中央计算单元。

与此相反，Aptiv开发了一种卫星架构的架构。这个想法是：所有传感器都连接到一个中央单元上，该单元处理称为主动安全域控制器的智能。

在这个过程中，利用传感器的位置和传递的信息类型，可以帮助减轻车辆的总重量，并随着传感器的数量可以更好地扩展。

左图的情况如下：

✅ 这有几个优点，请阅读。

这是“中心化融合”的两个例子。当我们使用经典架构时，可能会遇到另外两种类型的融合。

雷达和摄像头之间按抽象级别的数据融合图：

按竞争级别的传感器融合

对传感器融合算法进行分类的最后一种方法是按竞争级别。

同样，有3种可能。

竞争融合

竞争融合是指传感器用于相同目的。例如，当同时使用雷达和激光雷达来检测行人时。这里发生的数据融合过程称为冗余，使用术语“竞争”。

互补融合

互补融合是指使用不同的传感器观察不同的场景来获取我们使用其他方式无法获得的东西。例如，使用多个摄像头构建全景图时。由于这些传感器相互补充，使用术语“互补”。

协同融合

最后，协同融合是关于使用两个或更多传感器来产生一个新场景，但是关于同一个对象的。例如，在使用2D传感器进行3D扫描或3D重建时。

希望这篇文章可以帮助您更好地了解如何使用传感器融合，以及如何区分不同的融合算法。

融合通常由贝叶斯算法完成，例如卡尔曼滤波器。我们可以融合数据来估计物体的速度、位置或类别。

自动驾驶中的9种传感器融合算法 数据堂

在自动驾驶汽车中，传感器融合这项技术是必不可少的存在，因为它能提供更高的可靠性、冗余性以及最重要的安全性。

让我们通过一个例子来更好地理解什么是传感器融合，以利用激光雷达和摄像头进行行人检测为例，如果两个传感器中的一个没有检测到行人，另一个传感器就能作为冗余来增加检测到行人的机会，如果两个传感器都检测到了行人，传感器融合技术则能使我们更准确地知道行人位置。

传感器融合实际上就是是在融合传感器收集到的数据，他也可以叫做数据融合，目前一共有3大类9种方法可以构建数据融合算法。

一.按抽象级别进行分类

目前最常见的融合类型就是抽象级别融合。按抽象级别进行传感器融合可分为低级（Low Level）、中级（Mid-Level）和高级（High-Level）传感器融合，进行分类的条件是数据在什么时候进行融合。

1.低级融合 ：低级别传感器融合是融合来自多个传感器的原始数据。例如，融合来自激光雷达的点云数据和来自摄像头的像素级数据，这种类型的融合因为其考虑了所有数据，所以在未来几年有很大的发展潜力。

2.中级融合 ：中级传感器融合是将传感器独立检测到的物体进行融合也就是融合检测数据，如果摄像头检测到障碍物，雷达也检测到了，我们将来自激光雷达的3D边界框与来自对象检测算法的2D边界框融合在一起，将3D激光雷达的结果映射到2D中，并在2D影像中进行数据融合，以形成对障碍物的位置、类别和速度的最佳估计。但它严重依赖于检测器的检测效果。如果一个检测器失败，可能会导致整个融合结果都失败。

3.高级融合 ：高级融合是融合检测对象及其轨迹的融合，高级融合不仅依赖于检测，还依赖于预测和跟踪，其优点是简单。但存在的问题是可能会丢失太多数据，如果追踪是错误的，那么整个融合结果也是错误的。

二.按中心化级别进行分类

融合算法的第二类方法是按中心化级别进行分类，该分类是按照数据融合在哪里发生进行区分的，数据融合可能在主计算机进行，也可能在每个单独的传感器进行。

1.中心化融合 ：只使用一个中央单元处理器进行数据融合。

2.去中心化融合 ：每个传感器融合数据并将其转发到下一个。

3.分布式融合 ：每个传感器在本地处理数据并将其发送到下一个单元

三.按竞争级别进行分类

1.竞争融合 ：竞争融合是指传感器用于相同目的。例如，同时使用雷达和激光雷达来检测行人时。这里发生的数据融合过程称为冗余，也就是竞争融合。

2.互补融合 ：互补融合是指使用不同的传感器观察不同的场景来获取其他传感器无法获得的东西。例如，使用多个摄像头构建全景图。由于这些传感器相互补充，所以称作互补融合。

3.协同融合 ：协同融合是关于使用两个或更多传感器来产生同一个对象的新场景，例如，在使用2D传感器进行3D扫描或3D重建时，就是协同融合。

以上的这些数据融合方式各不相同，但这些融合通常由贝叶斯算法完成最终的计算，例如卡尔曼滤波器等，我们可以通过融合数据来更好的估计物体的速度、位置或类别，来提供更安全、更高效的智能驾驶服务。

原文地址：https://mp.weixin.qq.com/s/zaEcC2uI_oO5cPd3AIK0lg

相关问答

MRPT(MultipleROS-basedPoseTracking)算法是一种基于ROS(RobotOperatingSystem)的多点位姿跟踪的算法。1.MRPT算法主要用于机器人姿...

DMP就是MPU6050内部的运动引擎,全称DigitalMotionProcessor,直接输出四元数,可以减轻外围微处理器的工作负担且避免了繁琐的滤波和数据融合。MotionDriver....

两者间不具有明显的关系,前者是一类需要解决的问题,即将处于不同层次或相同层次的传感器信息进行全局性或局部性的融合。(加权平均就是一种最简单的融合)。...

小天才Z6A儿童电话手表推出了远程精准定位功能,通过传感器融合AI算法,不管是放学去同学家,还是出去玩,都能实时精准定位孩子位置。同时,还能看到孩子状态,...

关于华为智驾迭代原理主要基于多传感器融合,结合高性能智驾平台和拟人化智驾算法,实现包括高速、城区、泊车全场景的连续体验。同时,以超大规模云端仿真和数据...

信息物理融合系统是指将信息技术与物理系统相结合,通过传感器、通信网络和智能算法等手段,实现对物理世界的感知、控制和优化。它能够将物理系统的实时数据采...

题主问的,自动驾驶领域的数据融合,问的很模糊。在自动驾驶领域主要分车端和地图两个部分。车端的数据融合主要是指车端利用多种传感器获得,车辆周围的环境信息...

我是一个“科学发现”者,我发现只有社会主义通过“行政区”工农业一区一品、科学分工、地理定位的大生产分工,才能产生出社会主义“行政区”工农业万物分区、万...

1、传感器技术应用的安全性将得到改善,其对事物的安全监测将更敏锐,因为不安全的情况将很容易预测。2、自主传感器技术将成为可能,它带有集成电源且可长距离...

什么是三合一传感器?三合一传感器是一款零火线设备,它是一款融合人体移动检测,亮度检测,温度检测于一身的多功能传感器,往家中简单一安装,你就能拥有智能...