清华大学用6个无线传感器搞定全身动作捕捉，可跑可跳可打滚

梦晨 发自 凹非寺量子位 报道 | 公众号 QbitAI

来自清华的研究团队发布了一段视频：

两人打球的动作精准又流畅地被

但是房间里没看到摄像头，两人身上也好像没穿戴什么装备？

印象中的全身3D动捕的一套装备和场地布置，可是这样的：

△光学动捕，《最后生还者》拍摄现场

或是这样的：

△惯性动捕

最轻便的也得有5、6斤，价格便宜的就更重了能达到10几斤。穿在身上影响动作的灵活性，而且很快就会累了，基本无法日常使用。

视频中的装备，后面标记出来才看到，两人身上各自只戴了6个 小型惯性传感器，还是无线 的。

现在市面上的VR设备主要用的是光学动作捕捉。

要知道VR刚出来那会不管有线无线，最大的障碍是要在房间周围摆上3到6个柱子。

后来简化成了头戴设备上的摄像头向外扫描周围的环境实现定位，加上两个手柄上的惯性传感器，如PSVR。

但动作捕捉的范围就只能是以头部和手部为主，腿部动作一直是难题。移动只能在画面里前进，并不能将腿部的具体动作在游戏中表现出来。

△VR游戏《半条命：Alyx》中的移动方式之一

或者健身环，简单地检测到你在抬腿，再模拟成游戏中固定 的腿部动画，或借用游戏中的交通工具。

而现在，清华大学的新方法，可以实时捕捉跳跃和蹲爬，帧数都是90fps ：

跨越障碍，甚至是躺下打滚都没问题：

除了能跟踪人体的全身动作，还能实现在空间上的定位。由于不需要固定的传感器，长距离移动也没问题。

与光学动捕相比，惯性动捕还有两个好处。一个是不怕环境障碍物遮挡。

第二个是对照明环境没有要求，夜间也可以。

除了个人VR游戏外，新的惯性动捕技术还可能降低商业动作捕捉的成本，让小规模的制作团队也有机会用上。

在游戏和动画电影中，动作捕捉摄影棚是这样的：

这恐怕只有大公司才承担得起了。

除了娱乐外，动作捕捉技术在医疗领域 也有应用，可以用数据指导伤者更好地进行康复训练 。

双向循环神经网络

这么好的方法是怎么实现的呢？原来是靠深度学习。

研究团队分阶段将动作捕捉拆成3个子任务。先从惯性数据算出5个主要节点头部和四肢的位置，再细化成全部23个节点的位置，最后通过反向动力学 (IK)求解。

由于预测连续的动作不仅要依赖前面的计算结果，还要参考后面一层的结果。所以在这一步用到的是双向循环神经网络 (biRNN)。

在空间定位问题也是拆成两部分。一个是脚与地面接触的概率分布，再结合根结点的速度，算出在世界坐标的速度，同样用到RNN与biRNN。

对于不同的任务使用不同的公开数据集进行训练，包含300名受试者超过40小时的姿势和空间位置参数。

与之前的研究相比，任务拆解的方法有助于用更少资源获得更高帧数，可以胜任高速运动 的捕捉。

并且实现了动作捕捉的同时进行空间定位。

不过，还是有两点不足。一个是动作捕捉的效果依赖于训练数据集，对训练集中没有的动作效果就一般。

还有在计算脚与地面的接触概率分布时，假定了接触时脚是固定不动的，不能适用于滑板等运动。

作者团队

本项目论文已被计算机图形顶会SIGGRAPH 2021接受。

研究团队来自清华大学北京信息科学与技术国家研究中心和软件学院。

徐枫团队副教授团队，第一作者伊昕宇。

项目地址：https://xinyu-yi.github.io/TransPose/

论文地址：https://arxiv.org/abs/2105.04605

— 完 —

量子位 QbitAI · 头条号签约

关注我们，第一时间获知前沿科技动态

覆盖全身的Pivot可穿戴传感器，360°捕捉全身动作，瞬间让网球小白成为高手

去年11月刚完成300万美金种子轮融资的网球可穿戴设备Pivot，紧接着又在Indiegogo（众筹平台）上发起众筹，上线三天就完成了众筹目标，两周获得200%的支持率。在可穿戴设备领域的回落期，它有什么特别的？

Pivot的“特异功能”

Pivot由硅谷运动科技公司TurningSense设计研发，它采用了多个9轴可穿戴传感器，能够全方位提升可穿戴装置效能。这些无线传感器中配备了加速器、螺旋仪和磁力处理器，每秒可处理1000个数据样本。

与Zeep、Qlipp、Smash等竞品将单一传感器安置在球拍上不同，Pivot的突破在于通过佩戴多个传感器，能够在无线、无摄像机的环境下，依靠重力感应，对包括手腕、手肘、肩膀、胸部、腰部、膝盖和脚踝等多个身体部位，进行实时监测、分析并能合成3D影像。另外，使用者的胸部还会布置一个负责将信息传送到云端的中央枢纽，实现运动者动作的云存储、实时查看与历史回顾。

其运行原理如下：

佩戴Pivot后，设备内的传感器通过重力感应技术记录用户的每个动作、肌肉活动，然后根据预存在云端的数据模型对捕捉到的生物信息进行生物力学分析，最后通过3D全景的形式呈现在相应的App上，时刻提醒用户不正确的技巧、避免出现肌肉关节慢性损伤的动作。

所以，即使教练不在现场，也能通过数据远程给出人工分析。

除了技术上的实现，Pivot还整合了名人堂教练尼克·波利泰里尼的训练技术，并结合数据储存和运动视频回放等为用户提供订阅服务。不过，用户享受这些功能需要额外购买课程。

另外，据创业邦了解，Pivot具有深度学习功能，能够主动学习和识别造成慢性损伤的因素，并做出提示，促使运动员纠正错误技术，例如挥拍角度、步伐、腰身、力度控制等等。

“数学天才”和他的团队

（第一排从左往右：第四个名人堂教练尼克•波力泰里尼；第五个何利民）

能够做出如此大受欢迎的产品，正是因为TurningSense有一个动辄博士、专家的“运动员技术团队”。其联合创始人兼CEO何利民是来自加州大学伯克利分校的电子工程博士，半导体行业的连续创业者，曾为英特尔、高通、飞思卡尔等公司提供服务。据悉，何利民初中时就因数学天赋异禀被复旦大学破格录取，之后在复旦完成了学士和硕士的攻读。

公司的产品部及市场部副总裁Chris·Lim是技术专家和高级跆拳道运动员；首席技术官和研发部副总裁Joseph·Chamdani博士拥有46项美国专利技术，同时网球水平为5.5级（国家/省队现役队员一般为5.0~5.5）。

何利民告诉创业邦，公司联合创始人是网球世家，他的兄弟姐妹、子女都是网球爱好者，对网球运动有着深刻的理解，特约伙伴尼克·波利泰里尼是网坛著名教练，所以Pivot更能从运动者本身出发，帮助他们纠正错误，更好地赢得比赛。

主做运动辅助设备 适时切入IOT领域

据创业邦了解，全球有5000万网球爱好者，美国网球参与人数约1800万，中国则为1400万左右，这样看来其实网球运动是一个相对小众但高端的市场。对此何利民表示，网球只是公司的第一个市场，公司会以此为突破口打入物联网其它潜在的市场。

目前公司主要分6块业务，包括硬件和固件团队；开发3D全身动态抓取的生物力学和算法团队；应用程序开发团队；云计算专家团队；运动员团队（网球选手的平均级别为4.5级、此外还有高水平的高尔夫、游泳、武术运动员）；教练团队（主要是网球名人堂教练是特约伙伴尼克•波力泰里尼）

何利民称，公司当下的市场策略以提供硬件设备为主，正在计划推出针对其它体育项目的产品，比如高尔夫、马拉松、游泳等。未来会布局远程辅导、医疗保健、工业服务、VR/AR游戏等领域。借助教练规范动作指导课程为用户提供订阅服务，充分利用大数据，打造一个运动辅导的完整生态系统。

相关问答

隔空手势是一种通过手部动作来控制电子设备的技术,它的原理是通过摄像头或传感器来捕捉手部动作,然后将其转化为电子信号,从而实现对电子设备的控制。隔空手势...

[最佳回答](1)当发光二极管的光照射在粗糙的鼠标垫上时,反射光线射向各个方向,会发生漫反射;(2)感应器连续拍摄鼠标垫表面所成的像是利用二倍焦距以外的物体成...

[最佳回答](1)感应器连续拍摄鼠标垫表面所成的像是利用二倍焦距以外的物体成像的原理,因此光学感应器上所成的是倒立、缩小的实像;(2)感应器成的是倒立、缩小...

[最佳回答]Keyence公司的CZ—H52UV传感器据称可以检测多种产品和封装材料中使用的荧光剂的有无。CZ发出的UV光束来自于传感头中的发射器。接收器捕获由荧光材...

把体感传感器挂在汽车顶端,在汽车行进的时候,可以进行实时抓拍。这套系统可以搭配GPS系统使用,如果发现超载现象,后台会自动发出警报。如果仅仅通过图像扫描...

动作捕捉系统是一种用于准确测量运动物体在三维空间运动状况的高技术设备。它基于计算机图形学(传感器技术)原理,通过排布在空间中的数个视频捕捉设备(传感器...

gpf和氧传感器不是一回事这是汽油颗粒捕集器,这个部件是安装在发动机排气管内的,这个部件可以降低汽车尾气中的颗粒物含量,这样可以保护环境。有很多符合国六...

摩动核(MoCap)是一种用于动作捕捉的技术,用于记录和转换人体运动为计算机生成的动画。以下是一般的摩动核到手检查流程:1.安装摄像设备:在检查区域内安装...

不,ISP不是手机相机传感器的意思。ISP是图像信号处理器(ImageSignalProcessor)的缩写,是一种专门用于处理图像和视频信号的芯片或模块。在手机中,ISP负责...

手机加速度传感器也叫运动传感器,它能捕捉手机的几种典型运动模式如摇晃、甩动翻转等。达到用运动控制手机的目的。可以添加健康应用软件,计步,运动,以及重力...