清华大学用6个无线传感器搞定全身动作捕捉，可跑可跳可打滚

梦晨 发自 凹非寺量子位 报道 | 公众号 QbitAI

来自清华的研究团队发布了一段视频：

两人打球的动作精准又流畅地被

但是房间里没看到摄像头，两人身上也好像没穿戴什么装备？

印象中的全身3D动捕的一套装备和场地布置，可是这样的：

△光学动捕，《最后生还者》拍摄现场

或是这样的：

△惯性动捕

最轻便的也得有5、6斤，价格便宜的就更重了能达到10几斤。穿在身上影响动作的灵活性，而且很快就会累了，基本无法日常使用。

视频中的装备，后面标记出来才看到，两人身上各自只戴了6个 小型惯性传感器，还是无线 的。

现在市面上的VR设备主要用的是光学动作捕捉。

要知道VR刚出来那会不管有线无线，最大的障碍是要在房间周围摆上3到6个柱子。

后来简化成了头戴设备上的摄像头向外扫描周围的环境实现定位，加上两个手柄上的惯性传感器，如PSVR。

但动作捕捉的范围就只能是以头部和手部为主，腿部动作一直是难题。移动只能在画面里前进，并不能将腿部的具体动作在游戏中表现出来。

△VR游戏《半条命：Alyx》中的移动方式之一

或者健身环，简单地检测到你在抬腿，再模拟成游戏中固定 的腿部动画，或借用游戏中的交通工具。

而现在，清华大学的新方法，可以实时捕捉跳跃和蹲爬，帧数都是90fps ：

跨越障碍，甚至是躺下打滚都没问题：

除了能跟踪人体的全身动作，还能实现在空间上的定位。由于不需要固定的传感器，长距离移动也没问题。

与光学动捕相比，惯性动捕还有两个好处。一个是不怕环境障碍物遮挡。

第二个是对照明环境没有要求，夜间也可以。

除了个人VR游戏外，新的惯性动捕技术还可能降低商业动作捕捉的成本，让小规模的制作团队也有机会用上。

在游戏和动画电影中，动作捕捉摄影棚是这样的：

这恐怕只有大公司才承担得起了。

除了娱乐外，动作捕捉技术在医疗领域 也有应用，可以用数据指导伤者更好地进行康复训练 。

双向循环神经网络

这么好的方法是怎么实现的呢？原来是靠深度学习。

研究团队分阶段将动作捕捉拆成3个子任务。先从惯性数据算出5个主要节点头部和四肢的位置，再细化成全部23个节点的位置，最后通过反向动力学 (IK)求解。

由于预测连续的动作不仅要依赖前面的计算结果，还要参考后面一层的结果。所以在这一步用到的是双向循环神经网络 (biRNN)。

在空间定位问题也是拆成两部分。一个是脚与地面接触的概率分布，再结合根结点的速度，算出在世界坐标的速度，同样用到RNN与biRNN。

对于不同的任务使用不同的公开数据集进行训练，包含300名受试者超过40小时的姿势和空间位置参数。

与之前的研究相比，任务拆解的方法有助于用更少资源获得更高帧数，可以胜任高速运动 的捕捉。

并且实现了动作捕捉的同时进行空间定位。

不过，还是有两点不足。一个是动作捕捉的效果依赖于训练数据集，对训练集中没有的动作效果就一般。

还有在计算脚与地面的接触概率分布时，假定了接触时脚是固定不动的，不能适用于滑板等运动。

作者团队

本项目论文已被计算机图形顶会SIGGRAPH 2021接受。

研究团队来自清华大学北京信息科学与技术国家研究中心和软件学院。

徐枫团队副教授团队，第一作者伊昕宇。

项目地址：https://xinyu-yi.github.io/TransPose/

论文地址：https://arxiv.org/abs/2105.04605

— 完 —

量子位 QbitAI · 头条号签约

关注我们，第一时间获知前沿科技动态

覆盖全身的Pivot可穿戴传感器，360°捕捉全身动作，瞬间让网球小白成为高手

去年11月刚完成300万美金种子轮融资的网球可穿戴设备Pivot，紧接着又在Indiegogo（众筹平台）上发起众筹，上线三天就完成了众筹目标，两周获得200%的支持率。在可穿戴设备领域的回落期，它有什么特别的？

Pivot的“特异功能”

Pivot由硅谷运动科技公司TurningSense设计研发，它采用了多个9轴可穿戴传感器，能够全方位提升可穿戴装置效能。这些无线传感器中配备了加速器、螺旋仪和磁力处理器，每秒可处理1000个数据样本。

与Zeep、Qlipp、Smash等竞品将单一传感器安置在球拍上不同，Pivot的突破在于通过佩戴多个传感器，能够在无线、无摄像机的环境下，依靠重力感应，对包括手腕、手肘、肩膀、胸部、腰部、膝盖和脚踝等多个身体部位，进行实时监测、分析并能合成3D影像。另外，使用者的胸部还会布置一个负责将信息传送到云端的中央枢纽，实现运动者动作的云存储、实时查看与历史回顾。

其运行原理如下：

佩戴Pivot后，设备内的传感器通过重力感应技术记录用户的每个动作、肌肉活动，然后根据预存在云端的数据模型对捕捉到的生物信息进行生物力学分析，最后通过3D全景的形式呈现在相应的App上，时刻提醒用户不正确的技巧、避免出现肌肉关节慢性损伤的动作。

所以，即使教练不在现场，也能通过数据远程给出人工分析。

除了技术上的实现，Pivot还整合了名人堂教练尼克·波利泰里尼的训练技术，并结合数据储存和运动视频回放等为用户提供订阅服务。不过，用户享受这些功能需要额外购买课程。

另外，据创业邦了解，Pivot具有深度学习功能，能够主动学习和识别造成慢性损伤的因素，并做出提示，促使运动员纠正错误技术，例如挥拍角度、步伐、腰身、力度控制等等。

“数学天才”和他的团队

（第一排从左往右：第四个名人堂教练尼克•波力泰里尼；第五个何利民）

能够做出如此大受欢迎的产品，正是因为TurningSense有一个动辄博士、专家的“运动员技术团队”。其联合创始人兼CEO何利民是来自加州大学伯克利分校的电子工程博士，半导体行业的连续创业者，曾为英特尔、高通、飞思卡尔等公司提供服务。据悉，何利民初中时就因数学天赋异禀被复旦大学破格录取，之后在复旦完成了学士和硕士的攻读。

公司的产品部及市场部副总裁Chris·Lim是技术专家和高级跆拳道运动员；首席技术官和研发部副总裁Joseph·Chamdani博士拥有46项美国专利技术，同时网球水平为5.5级（国家/省队现役队员一般为5.0~5.5）。

何利民告诉创业邦，公司联合创始人是网球世家，他的兄弟姐妹、子女都是网球爱好者，对网球运动有着深刻的理解，特约伙伴尼克·波利泰里尼是网坛著名教练，所以Pivot更能从运动者本身出发，帮助他们纠正错误，更好地赢得比赛。

主做运动辅助设备 适时切入IOT领域

据创业邦了解，全球有5000万网球爱好者，美国网球参与人数约1800万，中国则为1400万左右，这样看来其实网球运动是一个相对小众但高端的市场。对此何利民表示，网球只是公司的第一个市场，公司会以此为突破口打入物联网其它潜在的市场。

目前公司主要分6块业务，包括硬件和固件团队；开发3D全身动态抓取的生物力学和算法团队；应用程序开发团队；云计算专家团队；运动员团队（网球选手的平均级别为4.5级、此外还有高水平的高尔夫、游泳、武术运动员）；教练团队（主要是网球名人堂教练是特约伙伴尼克•波力泰里尼）

何利民称，公司当下的市场策略以提供硬件设备为主，正在计划推出针对其它体育项目的产品，比如高尔夫、马拉松、游泳等。未来会布局远程辅导、医疗保健、工业服务、VR/AR游戏等领域。借助教练规范动作指导课程为用户提供订阅服务，充分利用大数据，打造一个运动辅导的完整生态系统。

相关问答

SICKP+F传感器做的很好主要是用于工业方面感应类的。有一种叫视觉传感器可能适应你。不知道你要的是那一种?SICKP+F传感器做的很好主要是用于工业方面感...

据17173网站报道,最近科技公司Noitom研发了一款可用于VR游戏开发的动作捕捉传感器装置“PerceptionNeuron”,它令VR游戏中的动作捕捉技术变成了可能,而动作...

[最佳回答](g)当发光二极管的光照射在粗糙的鼠标垫上时,发生漫反射;(2)感应器连续拍摄鼠标垫表面所成的像是利用二倍焦距以外的物体成像的原理,因此光学感应器...

从技术的角度来说,运动捕捉的实质就是要测量、跟踪、记录物体在三维空间中的运动轨迹。典型的运动捕捉设备一般由以下几个部分组成:传感器。所谓传感器是固定...

[最佳回答](1)漫反射;(2)实像;(3)前;(4)像没有刚好成在光学感应器上(或像成在光学感应器的下方.

我身边确实是发生过女性猥亵的事件,我们的街坊因为两家大人有矛盾多年,并且是矛盾还非常深,两家还是本家族关系。可以作为两家的孩子一男一女都是成年人,并...

运动传感器有很多好处。1.运动传感器可以精确地感知人体运动和姿势,可以用于运动监测、健身跟踪和体能评估等。这有助于人们了解自己的运动习惯、健康状况,并...

[最佳回答]本田汽车公司在1989年推出了自行研制的“可变气门配气相位和气门升程电子控制系统”,英文全称“VariableValveTimingandValveLifeElectronic...

[最佳回答](1)当发光二极管的光照射在粗糙的鼠标垫上时,反射光线射向各个方向,会发生漫反射;(2)感应器连续拍摄鼠标垫表面所成的像是利用二倍焦距以外的物体成...

[最佳回答](1)感应器连续拍摄鼠标垫表面所成的像是利用二倍焦距以外的物体成像的原理,因此光学感应器上所成的是倒立、缩小的实像;(2)感应器成的是倒立、缩小...