无障碍化身小黑子只需6枚传感器，来自清华轻量化动捕新成果

清华大学 徐枫团队 投稿

量子位 | 公众号 QbitAI

仅需6枚硬币大小的传感器 ，即可做到实时精准全身动作捕捉 。

来自清华大学团队的最新研究，入选计算机图形学顶会SIGGRAPH 2024 。

有了这项技术，可以无障碍化身小黑子。

打拳等大幅度运动也不在话下。

简洁是这类技术的核心优势之一，6枚惯性传感器（IMU）穿戴于四肢末端、头部和后背。

IMU传感器其实智能手机、手环、手表、耳机上都有，生活中十分常见。视频中使用的IMU体积非常小，与一枚一圆硬币大小相当，佩戴在身上几乎察觉不到。

△ 一元硬币（左）与该技术使用的惯性传感器（右）

不光形式简洁、佩戴方便，且和一套动辄百十万的传统动捕设备相比，其成本降低到了普通用户可以轻松接受的水平。

例如，日本索尼公司在去年发布了mocopi产品，提供给用户6枚IMU进行动作捕捉的解决方案，售价为449.99美元。

△索尼mocopi产品，使用6个IMU进行动作捕捉

来自清华大学的研究人员基于在该领域已有的技术积累，提出名为PNP的新技术，在动作捕捉精度上大幅超越现有的学术界及工业界解决方案。

其中与索尼公司的mocopi相比，可见新方案在多数人体动作上完成的更加标准、自然：

△索尼mocopi（左，黑色）与本技术PNP（右，橙色）实时动作捕捉结果对比

不仅相比于工业界产品mocopi有明显更高的精度，相比于学术界的最先进的方案，本技术也有明显优势：

△学术界的最先进方案PIP（左，蓝色）与本技术PNP（右，橙色）实时动作捕捉结果对比

该技术将发表在SIGGRAPH 2024上，代码已经开源

建模非惯性力带来“虚拟加速度”

本技术指出了过去工作存在的一个问题，即使用惯性测量值估计人体运动时忽略了非惯性力 的问题。

具体来说，人体动作捕捉任务通常分解为人体姿态估计 、人体运动估计 两个子任务求解。

在人体姿态估计任务中，过去的方法往往使用人体根节点坐标系简化网络训练，即使用根节点坐标系下的IMU测量值（包括加速度、和旋转）来估计人体姿态（即关节旋转）。

然而由于人体的加速和转动，根节点坐标系通常是一个非惯性系 ，将加速度变换到非惯性系时必须要考虑非惯性力的影响。

举一个简单的例子，假设被捕捉者站立于转台上，此时静止的观测者会认为IMU加速度测量值和人体运动一致（读数为旋转的向心加速度），而位于转台上的动态观测者则会指出IMU的加速度读数与他看到的人体运动不符（他会看到静止的人体）。

究其原因，是因为动态观测者使用了非惯性参考系，他在读取IMU的数据时必须加上非惯性力（如离心力、科里奥利力），才能获得和观测一致的结果。

本技术通过建模非惯性力带来的“虚拟加速度” ，保证了神经网络看到的加速度和人体运动一致。通过更加充分利用加速度测量值，可以提高动作捕捉的精度。

以一个例子说明本技术的实际作用：我们对比人体转圈和收缩手臂的两种运动（下图左），此时位于手臂上的IMU都会测到向内的加速度，如果简单地变换到根节点坐标系，这两种动作将无法区分（下图中）；而在本技术中，人体旋转产生的“离心力”与IMU测量到的向心力抵消，使得两种动作可以被有效区分开（下图右）。

本项目主页中的视频通过动画直观的讲解了本技术的核心思路和背后的物理知识，读者可以进行参考。

准确且符合物理规律

得益于更充分的加速度的使用，本技术可以解决过去工作难以捕捉的举手、冲拳等IMU旋转几乎不变、只能通过加速度来重建的动作。

△相比于之前的方法PIP（左，蓝色），本技术PNP（右，橙色）能更准确重建举手、冲拳动作

复杂动作的捕捉也更加准确。

△相比于之前的方法PIP（左，蓝色），本技术PNP（右，橙色）能更准确地捕捉复杂动作

相比于工业界的方案（索尼mocopi），本技术使用了人体物理优化，使得重建的结果符合物理规律（例如避免了脚在地面上滑动等问题）。

△相比于索尼mocopi（左，黑色），本技术PNP（右，橙色）捕捉的动作符合物理规律（脚不滑动）

对于复杂运动如下蹲行走，本技术也能更好地处理：

△相比于索尼mocopi（左，黑色），本技术PNP（右，橙色）捕捉复杂动作更加准确。

更多的对比结果可以参考主页的视频。

论文地址：https://arxiv.org/abs/2404.19619项目主页：https://xinyu-yi.github.io/PNP/开源代码：https://github.com/Xinyu-Yi/PNP

— 完 —

量子位 QbitAI · 头条号签约

关注我们，第一时间获知前沿科技动态

研发有进展 应用有障碍 传感器融合还有诸多掣肘

在不久前落幕的2018 CES（国际消费电子展）上，国内创业公司速腾聚创高调发布了MEMA激光雷达与摄像头的底层融合技术——LCDF（LiDAR-Camera-Deep-Fusion，并推出与高德地图合作研发的“基于高精度地图的激光雷达整体感知系统”方案。

无独有偶，2018 CES前夕，做天然气激光遥测系统起家的禾赛科技联手百度，发布了基于百度Apollo平台的首款激光雷达摄像头融合感知系统Pandora，力图让自动驾驶研发团队在融合方案的基础上，降低工作量、减少开发难度、集中精力攻克算法难关。

在自动驾驶浪潮的席卷下，无论整车企业、传统零部件供应商，还是互联网科技公司或其他来自业外的新入局者，纷纷将目光投向寻找实现无人驾驶传感器融合的最优方案上。究竟是什么因素催热了传感器融合？现阶段，这项技术的进展情况如何？

■对确保自动驾驶安全至关重要

据介绍，自动驾驶汽车离不开探测所处环境的传感器，为更准确地解读它们捕捉的信息，需要通过某种方式将各类数据整合在一起，这一过程就被称为传感器融合。说到传感器融合是如何走入大众视野的，恐怕还要从一次道路交通事故说起。

2016年5月在美国佛罗里达州，一辆开启了自动驾驶模式（Autopilot）的特斯拉汽车与一辆白色重型卡车相撞，导致特斯拉车主身亡。这个事件被称为“全球首例自动驾驶致死事故”，让不少人开始对新技术的安全性表示担忧。

其后，特斯拉不断探索传感器的融合方式。2016年10月，该公司发布Autopilot 2.0系统，摄像头的数量从原先的1个增至8个，据称在此硬件基础上的自动驾驶安全性有了空前提升。

作为零部件行业的后起之秀，Mobileye（曾是特斯拉供应商，2016年6月双方终止合作关系）也是传感器融合探索之路上的先行者。该公司开发的产品不断迭代，从EyeQ1的单一摄像头逐步升级到EyeQ5的20多个摄像头与毫米波雷达、激光雷达等传感器的融合。

作为自动驾驶领域翘楚，特斯拉与Mobileye不约而同地通过实现传感器融合，以提高自动驾驶水平。其原因就在于，这项技术已被业内人士认定为实现自动驾驶的必须条件。

以色列激光雷达公司Innoviz CEO兼联合创始人Omer David Keilaf就表示：“很明显，传感器数据融合技术对于保证车辆对周边环境的全局定位和理解至关重要，且为Level 3～Level 5自动驾驶方案的实现提供了必要的技术储备。”

在Keilaf看来，不同传感器有各自的优势和弱点。例如，毫米波雷达可在低分辨率情况下完成测距，且受天气因素影响小；摄像头有更高的分辨率，能感知颜色，但受强光影响较大；激光雷达则提供三维感知信息，对环境的重构能力更强。在这种前提下，只有几种传感器融合才能提供车辆周围环境更精准的绘图信息，并达到整车企业所需的安全标准。

■在融合系统分区上寻找黄金平衡点

据了解，传感器融合系统拥有一个“大脑”（ECU，即电子控制单元）专门进行控制。要想将多个分布在车辆不同位置的传感器紧密结合起来，它们与中央融合ECU之间的走线问题就必须考虑在内。同时，数据处理设备布置在什么位置也是个大问题。目前，业内比较认可的主要有三种方式。

第一种方案是集中式处理，即所有传感器采集到的原始信息都回传到一个区域。其优势在于，由于传输的是原始数据，因此ECU处理单元不会丢失数据；但缺点是由于不同传感器要实时回传数据，因此带宽的压力比较大，且ECU处理单元需要超强的处理运算能力。

第二种方案是全分布系统，即各分支系统只负责将目标数据或元数据（描述物体特征或对物体进行判断）发送回中央融合ECU，在这里数据会被整合并产生下一步的指令。这种方式在数据处理上非常高效，但软肋在于传感器模块需要自行处理数据和做决定，因此功能安全需求较高。

上述两种方案，哪个更优？记者采访了多位业内人士，得出的答案并不是“非黑即白”，而是需要综合考虑传感器的数量和类型、不同车型的扩展和升级需求，对两种方案进行综合。

中国科学院自动化研究所副研究员黄武陵告诉《中国汽车报》记者，最终呈现给更高层算法处理的时候应该是集中式，汽车“大脑”做决定要得到完整的信息，而实现起来又有分布式的处理，将分布式和集中式相互融合寻找一个黄金平衡点的混合式，更能准确描述车辆周围环境。

■算法与成本因素是关键所在

黄武陵分析称，目前企业都在积极寻找传感器融合的方法，推出的解决方案也不尽相同，但尚未出现一种经过验证、最可靠的方案。“因为传感器融合是一个不断推进的过程，难点颇多。”他说。

其中，更精确的算法是最关键因素。在黄武陵看来，不同类型传感器的优缺点不同，获取的信息量巨大，要保证最终融合结果及时、准确，就需要在传感器的选型配置和算法精度上有巧妙的布局。他对记者表示：“能把这些环节都做好的企业目前还不多。”

目前，很多处在测试阶段的传感器融合产品，都被制作成一个服务器布置在车顶，但最终使其成为车内一个外型尺寸较小的低功耗计算单元才是主流趋势。黄武陵认为：“在外形上，应用传感器融合技术的自动驾驶车辆应与非自动驾驶车辆无差别。所以，如何使传感器互联的总线和现有总线相互配合，也是有待加强的。”

一款产品能否最终走向市场，起到决定性作用的就是性价比。为了提升传感器融合的效果，最理想的状态就是将各类最顶级传感器融合在一起。但黄武陵直言，光一个激光雷达的价格就已与一辆传统汽车持平，可见某些关键传感器的价格还远没到消费类电子产品的水平。

元橡科技相关负责人周树（化名）也告诉《中国汽车报》记者，在传感器融合过程中，一些厂商不愿公开自己获取的原始数据，怕因此沦为纯粹的数据采集供应商，导致利润空间有限。“由此造成的数据壁垒也是实现传感器融合的一大障碍。”

当下，传感器融合领域的参与者越来越多，合作共赢成为必由之路。黄武陵提出，对汽车本身更了解、对质量管控更有经验的传统零部件供应商或车企，如果能与思维前瞻的互联网科技企业携起手来，将在这项技术上取得1＋1>2的成果。

编辑：庞国霞

相关问答

[最佳回答]1、转向角传感器损坏会造成转向系统无助力输出、助力沉重。转矩传感器的作用对于电子控制单元(查成交价|参配|优惠政策)施加到电机上的电流由直接的...

奇骏的侧方障碍传感器更换一般不需要进行匹配。侧方障碍传感器是用来检测车辆周围障碍物的装置,通常由多个传感器组成,并通过车辆电脑系统来进行数据处理和警...

如果您的2011款卡罗拉阳光的传感器出现故障,可能导致无法正常感知环境光线并进行相应的调节。以下是一些可能的故障原因和解决方法:1.传感器污垢:阳光传感器...

传感器是一种物理装置或生物器官,能够探测、感受外界的信号、物理条件(如光、热、湿度)或化学组成(如烟雾),并将探知的信息传递给其他装置或器官。传感器元...

传感器一般由敏感元件、转换元件、变换电路和辅助电源四部分组成。1、敏感元件直接感受被测量,并输出与被测量有确定关系的物理量信号;2、转换元件将敏感元...

欧拉好猫的辅助功能障碍是指车辆的自动辅助驾驶或者一些相关功能无法正常工作。这可能是由于多种原因导致的,例如传感器故障、软件故障或者是车辆其他硬件的问...

射各种射线或声波,依据反射原...我们需要给机器人感知世界的能力,触摸和经验,让它们为人类服务。我的回答完了,它可能不完美。你有什么需要补充?期待你的神...

首先我想说,双相情感障碍即使在精神科也是症状表现最复杂,诊断最困难,最容易误诊,最容易漏诊的精神障碍疾病。可以说即使在精神专科医院,有些时候双相情感障...

光电感应器是一种利用光电效应实现探测的传感器,根据不同的工作原理和应用场合,可以分为以下几种类型:1.反射式光电感应器:通过发射器和接收器在自身构成一...

3.飞行无人机时,避障系统将自动启动,可以自动检测前方障碍物并进行避障。4.如果需要手动控制避障,可以使用遥控器上的遥感控制飞行方向,并通过视觉传感器...