清华大学用6个无线传感器搞定全身动作捕捉，可跑可跳可打滚

梦晨 发自 凹非寺量子位 报道 | 公众号 QbitAI

来自清华的研究团队发布了一段视频：

两人打球的动作精准又流畅地被右下角 的笔记本电脑捕捉到。

但是房间里没看到摄像头，两人身上也好像没穿戴什么装备？

印象中的全身3D动捕的一套装备和场地布置，可是这样的：

△光学动捕，《最后生还者》拍摄现场

或是这样的：

△惯性动捕

最轻便的也得有5、6斤，价格便宜的就更重了能达到10几斤。穿在身上影响动作的灵活性，而且很快就会累了，基本无法日常使用。

视频中的装备，后面标记出来才看到，两人身上各自只戴了6个 小型惯性传感器，还是无线 的。

现在市面上的VR设备主要用的是光学动作捕捉。

要知道VR刚出来那会不管有线无线，最大的障碍是要在房间周围摆上3到6个柱子。

后来简化成了头戴设备上的摄像头向外扫描周围的环境实现定位，加上两个手柄上的惯性传感器，如PSVR。

但动作捕捉的范围就只能是以头部和手部为主，腿部动作一直是难题。移动只能在画面里前进，并不能将腿部的具体动作在游戏中表现出来。

△VR游戏《半条命：Alyx》中的移动方式之一

或者健身环，简单地检测到你在抬腿，再模拟成游戏中固定 的腿部动画，或借用游戏中的交通工具。

而现在，清华大学的新方法，可以实时捕捉跳跃和蹲爬，帧数都是90fps ：

跨越障碍，甚至是躺下打滚都没问题：

除了能跟踪人体的全身动作，还能实现在空间上的定位。由于不需要固定的传感器，长距离移动也没问题。

与光学动捕相比，惯性动捕还有两个好处。一个是不怕环境障碍物遮挡。

第二个是对照明环境没有要求，夜间也可以。

除了个人VR游戏外，新的惯性动捕技术还可能降低商业动作捕捉的成本，让小规模的制作团队也有机会用上。

在游戏和动画电影中，动作捕捉摄影棚是这样的：

这恐怕只有大公司才承担得起了。

除了娱乐外，动作捕捉技术在医疗领域 也有应用，可以用数据指导伤者更好地进行康复训练 。

双向循环神经网络

这么好的方法是怎么实现的呢？原来是靠深度学习。

研究团队分阶段将动作捕捉拆成3个子任务。先从惯性数据算出5个主要节点头部和四肢的位置，再细化成全部23个节点的位置，最后通过反向动力学 (IK)求解。

由于预测连续的动作不仅要依赖前面的计算结果，还要参考后面一层的结果。所以在这一步用到的是双向循环神经网络 (biRNN)。

在空间定位问题也是拆成两部分。一个是脚与地面接触的概率分布，再结合根结点的速度，算出在世界坐标的速度，同样用到RNN与biRNN。

对于不同的任务使用不同的公开数据集进行训练，包含300名受试者超过40小时的姿势和空间位置参数。

与之前的研究相比，任务拆解的方法有助于用更少资源获得更高帧数，可以胜任高速运动 的捕捉。

并且实现了动作捕捉的同时进行空间定位。

不过，还是有两点不足。一个是动作捕捉的效果依赖于训练数据集，对训练集中没有的动作效果就一般。

还有在计算脚与地面的接触概率分布时，假定了接触时脚是固定不动的，不能适用于滑板等运动。

作者团队

本项目论文已被计算机图形顶会SIGGRAPH 2021接受。

研究团队来自清华大学北京信息科学与技术国家研究中心和软件学院。

徐枫团队副教授团队，第一作者伊昕宇。

项目地址：https://xinyu-yi.github.io/TransPose/

论文地址：https://arxiv.org/abs/2105.04605

— 完 —

量子位 QbitAI · 头条号签约

关注我们，第一时间获知前沿科技动态

智能穿戴中都有哪些传感器？了解这十个就够了

如果你了解智能穿戴的话，应该对其中内置的传感器都不陌生，比如大家非常熟悉的光学心率传感器，而正是因为光学心率传感器的普及，也让心率监测的成本变得更低，而且我们也在越来越多的智能穿戴设备中见到了它的身影。那么除了常见的心率传感器之外，还有哪些隐藏在智能穿戴设备内部的传感器呢？而它们又有着怎么功能呢？今天我们就来仔细盘点一下。

1、加速度传感器

在智能手环的传感器中，运动传感器最为基础，它包括了加速度传感器、陀螺仪、电子罗盘传感器、大气压传感器等，其中加速度传感器和陀螺仪应该是大家都比较熟悉的两个，通过测量方向和加速度力量，判断设备是否移动，从而达到计步的目的，而通过收集的数据匹配用户正在进行的运动类型，进而监测用户的步行数、卡路里消耗量等，实现智能设备最基本的功能。

2、光学心率传感器

光学心率传感器是智能手环最常用的心率监测装置，当电容灯光射向皮肤，透过皮肤组织反射回的光被光敏传感器接受并转换成电信号再经过电信号转换成数字信号，再根据血液的吸光率就能测算出心率，随着成本的不断降低，光学心率传感器已经成为智能穿戴设备中最为普及的传感器之一。

3、生物电阻抗传感器

作为另一种监测心率的传感器，生物电阻抗传感器在智能手环中比较常见，例如曾经的Jawbone UP3手环中就采用这种方式来监测心率。其原理也比较容易理解，它可通过生物肌体自身阻抗来实现血液流动监测，并转化为具体的心率、呼吸率及皮电反应指数，是一种更先进的综合生物传感器。

不过这个方法的缺点也比较明显，比如电路比较复杂、占PCB空间比较大、易受电磁干扰、测量时传感器必须紧贴皮肤等，所以目前在智能手环中已经比较少用到了。

4、全球定位系统（GPS）

手机的定位大家都比较熟悉，不过定位系统在智能手环或手表中的普及率并不算很高，只有一些专业级的运动手环或手表才具备GPS芯片，而且由于成本较高，此类产品的的价格也会更高。比如佳明fenix5X，其中便内置了GPS、GLONASS、北斗卫星定位系统，它可以用于记录用户的地理位置、跑步路线，实现轨迹规划、航迹返航，对于喜欢户外运动的人群来说是绝对的刚需。

5、皮电反应传感器

皮电反应传感器是一种更高级的生物传感器，用来测量人的唤醒度的，而唤醒度经过大量科研实验证明是和人的关注度和参与度紧密联系在一起的，通常配备在一些可以监测汗水水平的设备上。专业的角度来讲，人体的皮肤电阻、电导随皮肤汗腺机能变化而改变，这些可测量的皮肤电改变称之为皮电活动（EDA)。心理生理学家对心理上引起的汗腺活动进行测量，来研与之相关的心理活动，这也是一些手环可以提供用户心情指数的重要依据。

6、温度传感器

顾名思义，温度传感器主要用于检测用户表皮的温度，它通过与用户皮肤的直接接触，测量出皮肤的表层温度，不过由于手表佩戴方式决定了，体表温度并不能够代替体温，而仅仅能够作为一种间接地参考数据，同时在智能手环中应用的相对来说还比较少。

7、气压传感器

气压传感器大家应该也比较熟悉，它可以测量用户所在位置的气压大小，从而计算出海拔高度，在运动手表或手环中应用比较普遍，通过在运动过程中微弱的气压变化来计算出所在位置的高度变化，同时精确度在10层楼的高度运动过程中可以控制在10CM以内，大到攀岩、小到爬楼梯的数据都可以实现监测，也是专业运动手表中不可或缺的传感器之一。

8、电容传感器

这个相对来说可能很少被提及，不过应用的其实很广，例如很多手环有一个脱腕检测功能，其实就是利用电容传感器监测到电容电压的变化，从配合算法自动检测用户是否佩戴手环，及时给予用户提醒，甚至还能起到一定的防丢作用。此外，电容传感器其实还可以避免没有佩戴手环场景下的睡眠误判、心率监测等。

9、霍尔传感器

霍尔传感器是根据霍尔效应制作的一种磁场传感器，它在手环或耳机中都有应用。它主要通过手环腕带上内置磁铁，感应耳机或腕带之间磁通量的变化，判断耳机或手表/手环是处于佩戴的状态，同时也可以控制耳机的播放/暂停，实现“摘下即停、戴上即听”的功能。

10、环境光传感器

在智能穿戴产品中，智能手表的续航一直是一个痛点，而为了进一步延长续航，环境光传感器几乎成为了智能手表的标配之一。在原理方面，环境光传感器可以感知周围光线情况，并告知处理芯片自动调节显示器背光亮度，降低产品的功耗，同时环境光传感器也被广泛应用在手机、笔记本、平板电脑等移动设备上。

总结：

以上就是是个在智能穿戴产品中经常会被提及的传感器，也正是因为在智能穿戴产品中集合了如此之多的传感器，才让智能穿戴设备拥有了众多个性化的功能，了解这些功能背后的传感器，也更有助于我们了解智能穿戴类产品，在购买时也能够根据自己的需求，选择出最合适的产品。■

本文编辑：马景东

关注泡泡网，畅享科技生活。

相关问答

[最佳回答]我知道我知道呢!之前听到这个词的时候就特意去查过一些资料哦!现在正好分享给你看看呢!~运动传感器有很多分类,例如有检测人体运动反映的,有检测机...

运动传感器有很多好处。1.运动传感器可以精确地感知人体运动和姿势,可以用于运动监测、健身跟踪和体能评估等。这有助于人们了解自己的运动习惯、健康状况,并...

运动传感器可以用来测量与运动有关的位置、位移、速度、加速度、振动位移、振幅、波动传播等物理量,广泛应用于教学模拟、科研、航天、遥测、自动化、家电等领...

[最佳回答]用计算机辅助实验系统研究直线运动的S-T图和V-T图的实验中,需要用到由发射器和接收器构成的运动传感器.其中发射器与小车固定在一起,接受器固定在长...

[最佳回答]实质上,超声波测速器的原理是超声波测距离.超声波测距离很简单吧?然后把短时间间隔测得的两个距离除以时间间隔就是速度.实质上,超声波测速器的原...

运动传感器需要手机权限的。1、ColorOS3.0系统,进入手机管家权限隐私应用权限管理需要修改权限的应用进行修改;2、ColorOS2.1版本,安全中心权限隐私应用权限...

乐高传感器有两种:有源传感器和无源传感器。无源传感器,简而言之,也就是它并不需要外界电源就可以工作。触动传感器和温度传感器属于无源传感器。而角度传感...

wedo20距离传感器可以通过LEGOMindstorms教育版软件中的编程模块来使用。以下是基本的使用步骤:1.把wedo20距离传感器连接到LEGOMindstorms教育版套件中的...

1、所谓运动传感器,就是人们在运动的时候,它能够计算出人们运动的数据。并手机这些数据反馈回系统。(ps:它属于硬件。)再根据相应的软件设计,使得人们可以...如...

1、手机未开启支付宝自启动权限。去设置(“手机管家”-“权限隐私”-“自启动管理”开启)2、手机机型没有运动传感器,无法进行计步。3、尝试重启手机,再走...