手套传感器 一副“无限手套”的诞生:548个传感器,人机合一
一副“无限手套”的诞生:548个传感器,人机合一
无限手套不只灭霸拥有,不远的将来你也可能会得到,只是它没有6颗宝石,却有548个传感器加持。更吸引人的是,这副手套的材料成本只有10美元,也就是不超过70元。
5月29日,《自然》发表的研究描述了一种装配了传感器的手套,它可以学会识别单个物体、估算重量和应用触觉反馈。
图 | 触觉手套。来源:MIT News
图 | 手套掌心,黑色的传感装置连接到了黄色针织手套上。来源:nature 供图:Subramanian Sundaram。
更软,更灵敏
人类能够以适当的力度抓握和感受物体。但是这种触觉反馈很难在机器人身上实现。近年来,基于计算机视觉的抓握策略在新兴机器学习工具的帮助下,取得了长足进步,但是对触觉这一个重要感知模态的使用仍然是欠缺的。
目前已有的类似手套传感器装置造价高达数千美元,并且只有50个传感器来收集信息。来自麻省理工学院计算机科学与人工智能实验室的Subramanian Sundaram及同事设计了一种简易廉价(成本只有10美元)的可伸缩触觉手套,上面布置了548个传感器和64个导电线电极。
该传感器阵列由一张力敏薄膜和导电线网络组成。电极与薄膜之间的每一个重合点都对垂直力敏感,并会记录通过薄膜的电阻。
研究人员带上手套单手操控物体,由此记录下了一个大规模的触觉图谱数据集。数据集包含手指区域的空间关联和对应,它们代表了人类抓握的触觉特征。
图 | 手套有548个传感器覆盖,连接到定制的针织手套。来源:Nature。
图 | b: 548个传感器的分布,压阻式传感器阵列通过层压简单材料制造。c: 每个传感器元件通过显示电阻的变化来响应压力。来源:Nature。
图 | 抓握万用表来估计重量(3倍播放速度)。来源:研究人员。
研究人员使用手套,单手与26种物体进行互动,包括汽水罐、剪刀、网球、勺子、笔和杯子等等,时间超过5个小时,并录下了触觉视频。之后,他们利用记录下来的数据训练一种深度学习网络来识别这些图片,发现该深度学习网络能够通过持握方式鉴定出不同的物体,还能估计出物体重量,这些都无需视觉输入。
在这26种物体的试验中,这个系统识别准确率高达76%,还可以估测60克内的大多数物体的重量。
研究者称,这种策略或有助于未来设计假体、机械工具和人机交互。
科幻不再遥远
本文作者之一是麻省理工学院计算机科学与人工智能实验室(CSAIL)博士生李昀烛,他的专业领域是计算机视觉、机器学习和机器人技术,尤其是基于深度学习的机器人动力学建模和多模态感知。李昀烛全程参与了此次研究,并和Subramanian Sundaram所在的实验室协作完成了这项工作。
他接受DeepTech采访对此项研究进行了解读。
DeepTech:对于普通读者来说,这个手套很科幻,你们是基于什么考虑来开发这个手套的?
李昀烛:人在和周围环境进行交互的时候,除了用视觉,我们还会用听觉和触觉等多种感官来感知这个世界,而其中触觉在我们日常生活中和环境进行物理性交互的过程中尤为重要。
比如伸手到裤兜里拿钥匙,需要在看不见的情况下对钥匙进行定位和抓取;或者在揉面团的时候,要判断面团的软硬,这些任务仅靠视觉是很困难的,还需要有来自触觉的反馈。所以我们希望引入像人手一样的压力传感器,去研究人到底是如何利用触觉去跟世界进行交互的。
现在已有的触觉传感器要么非常小,能感知的区域有限,要么可能面积比较大,但是传感器的密度非常稀疏,并且可能很难扩展到更大的面积,所以我们希望能做一个非常密集的且有很强可扩展性的手套感知器。
我们开发的这一套传感器使用的是柔性材料,非常适合去贴合像手这样自由度比较大的物体。我们带上这个手套去跟各种各样的物体进行互动,就能得到清晰度很高的触觉数据集,来分析人在抓取物体过程中的一些行为模式。
我们希望在未来能帮助机器手做到像人的手指一样灵活。比如人在抓一个东西的时候,我们就得到了人的手指压力分布数据,那么这有助于机器人更灵活地把物体抓起来,或者完成某个相似的任务。
DeepTech:能不能解读一下这个手套的基本原理?为何选择的传感器数目是548个?
李昀烛: 手套的基本原理比较容易理解。当你在对手套施加压力的时候,它的导电性就会有一定变化,这就变成了数据。其中我们分两层在横向和纵向分别排布了32条导电线,在两层电线之间加入了一张对垂直力敏感的薄膜,当压力变化时,薄膜的电阻也会随之变化,电极阵列就能感知到这种变化。
在实验室的环境里,32×32是一个比较合理的密度,如果做的更密集,导电线在人手大幅度运动的过程中就可能接触发生短路。再者,因为手掌形状的不规则,在手掌的区域内只能容纳548个压力传感器。在未来我们可能会采取其他办法来实现更高的传感器密度,比如更精细的排线设计。
DeepTech:此项研究的最大突破在哪里?与之前的研究相比,本次研究在方法上和结果上有哪些突破性收获?
李昀烛:这项研究的突破在于我们提出了一种新的传感器的设计和制造方法,不需要特别的制作工具,使用的也都是市场上能买到的材料,最后的产品很灵敏,成本很低,并且有很强的可扩展性;在软件方面,我们给出了行业领域内第一个包含整个手掌触觉信息的大规模数据集,这可以帮助我们使用机器学习的算法去定量理解人类的抓取动作。
设计和制作整个带触觉的“皮肤”是很有挑战性的,我们既需要很强的可扩展性和长时间稳定工作的能力,还不能去影响人本身的动作,之前的研究很难兼得这些要求。
DeepTech:10美元的成本意味着什么?
李昀烛:10美元指的是手套以及传感器的成本。除了手套以外,我们目前连接传感器的线路板大约为100美元。低成本就意味着有更多的扩展和商业化的可能性。
DeepTech:能不能描绘一下其应用前景?这个研究的下一步是怎样的?
李昀烛:这项研究有很多可能的应用,比如我们可以记录人在完成某个复杂任务时的触觉反馈,然后通过模仿学习去帮助机器人完成类似的任务;或者我们可以将传感装置的面积做得更大,包裹住整个机械臂,这可以帮助机器人更好地和人类进行交互;我们也可以把传感器织成衣服和鞋子,来分析人在走路、跑步或登山时的受力分布,有助于设计出更好的产品;在交互游戏的设计上也会有很多想象的空间。
超40000元!全球首款支持手掌反馈的VR手套开卖:价格太劝退
电影《头号玩家》十分逼真地展示了VR设备的魅力,不仅是VR眼镜,剧中角色还能通过包括触觉反馈手套在内的VR全身套装,感知虚拟物体带给身体的冲击力,甚至是抓握、抚摸的触碰感。
大家不要认为电影中的虚拟现实应用离我们还有很远,如今这样的场景已经有望实现了。虚拟现实等同于VR眼镜的概念早已过时,在视觉、听觉以外,触觉也将成为VR虚拟现实的另一拓展方向。
VR手套概念很好,但价格实力劝退
VR概念最早可以追溯至英国作家Aldous Huxley1932年推出的长篇小说《Brave New World》,书中提到了头戴式设备可以为人们提供图像、气味、声音等感官体验,让人们更好地沉浸在虚拟世界中。
到了现代,虚拟现实技术和书中描述的大致相同,通过传感器技术模拟各种感官感受来欺骗大脑,让用户能在虚拟场景中体验身临其境的真实感受,并且在小说想象的基础上进行了升级。
近日,荷兰VR手套和力反馈方案商SenseGlove宣布正式开售旗下VR设备Senseglove Nova 2,据官方介绍,这是世界上首款支持手掌反馈的无线VR触觉手套单元。这款设备包含手套和传感器,内置震动反馈,允许用户“抓握”虚拟物体、“触摸”感知虚拟物体纹理,同时支持虚拟物件主动接触反馈。
图源:Senseglove
简单来说,Senseglove Nova 2能提供其他VR设备不具备的真实“触感”,设备将根据虚拟物件的尺寸和种类,模拟尽可能真实的碰撞感。
Senseglove声称,Senseglove Nova 2对比初代Nova在手指跟踪功能方面有了很大的进步,目前这款手套还能扩展记录拇指、中指和无名指的运动,未来有望运用在医疗/工业等用途。
售价方面,Senseglove Nova 2售价高达5999美元(约合人民币43553元),同时Senseglove会根据手部尺寸,提供三种尺寸的Senseglove Nova 2。很显然,Senseglove Nova 2这并不是一件面向C端的产品,或者说绝大多数消费者不会耗费巨大成本去体验所谓的手掌反馈。
图源:Senseglove
参考初代Nova的客户画像,Senseglove Nova 2大概率被高校、汽车制造商、航空局等一众公司和组织机构采购,用于VR培训和研究。
手感欺骗大脑,VR手套是什么来头?
沉浸感,是VR设备最重要的特性,VR手套则是为了进一步增强沉浸感的科技产物。前两年VR圈掀起元宇宙热潮,Facebook改名为Meta后不久,就公布了一款触觉手套设备(下文简称Meta手套),该设备可以复现抓握物体,或抚摸不同材质表面的触感。
听上去Meta手套与Senseglove Nova 2的功能类似,但两者的实现过程存在差异。据Meta介绍,Meta手套的原型成本约为5000美元,手套的每个手指上放置了15个充气塑料片,触觉交互位置被布置在贴合佩戴者手掌、手指下侧和指尖等位置上,同时该手套还能充当VR控制器,手背处的白色标记能让相机跟踪手指在空间中的运动方式,内部传感器则负责捕捉手指的弯曲方式。
图源:Meta Reality Labs
当用户带着Meta手套进入虚拟世界时,手指上的充气塑料片会根据情况调整充气,模拟真实压力。如果用户指尖触碰虚拟物体,还会感受到特定的触感,如果是抓起虚拟物体,手指上搭载的致动器还会变硬,这些触感配合上视觉、听觉,能给用户带来更强的拟真感。
从外观来看,Meta手套明显比Senseglove Nova 2来得笨重,不过考虑到它只是原型产品,未来还有很大的改进空间。两者主要差异体现在模拟触感技术上,Senseglove Nova 2依靠的是震动反馈和力反馈技术,而Meta手套则是借鉴了软体机器人的微型气阀技术。
除了技术差异外,手套材质也是VR手套的重要一环。一副僵硬、沉重、易脱落的手套很容易让用户从虚拟体验中脱离,为了避免这种情况的发生,手套在重量、柔软度以及耐用度方面都有极高的要求。
目前大多数VR手套采取材料科技,将塑料、硅胶等柔性材料打造成可拉伸的新纤维,再将其缝制或针织成手套样式。其中,韩国科学技术院此前研究的硅胶VR手套,以及加州大学开发的搭载McKibben肌肉的触觉手套,就是材料科技改造VR手套的代表。
VR手套作为VR生态的重要一环,在设计之初就是为了配合眼镜、耳机等其他设备,共同营造更强沉浸感的。不过受限于空间和材料,制作VR手套的成本相当高,因此未能在消费市场引起太多讨论。
随着技术小型化和材料科技的成熟,VR手套未必不能压缩成本,从而闯入消费市场。那时,我们或许就能体验到《头号玩家》中的部分VR魅力了。
抓握、穿戴、触感,VR触觉设备的未来是什么?
VR技术的发展历程称得上波折,反复经历期望膨胀、泡沫破裂和爬升复苏的阶段。尤其是元宇宙概念破灭后,VR市场就遭遇了巨大挫折。
根据数据调研机构IDC报告,2023年全球VR市场出货量同比下滑了10.7%。国内市场情况更糟糕,2023年VR出货量同比下滑39.8%,仅为46.3万台,下滑幅度接近四成。原以为2024年初苹果Vision Pro的发售会重燃VR行业的热情,没想到来得快,去得更快,VR行业又迎来了阶段性萎靡。
图/ IDC
行业萎靡,不代表方向错误,在小雷看来,VR技术仍具备不少闪光点。目前触觉设备大致分为三类,分别是抓握式、穿戴式和触摸式。
抓握式设备运用在医疗领域的案例不算少,以手术机器人为例,医生能通过它操作非常精细的工具实施远程手术,或者是执行人手无法完成的任务。手术机器人增加触觉反馈能提高手术精度,降低风险,还能辅助医生在VR中进行零风险训练,同时又能体验到实际手术中的感觉。
穿戴式设备通过皮下神经传导压力、摩擦、温度等触觉感受。大部分该类设备是佩戴在手指上,当用户在虚拟现实中触摸物体时,设备以相应力度按压指尖。腕带、VR手套也属于穿戴式设备。
触摸式设备就更容易理解了,我们日常使用的智能手机就存在点击屏幕获得震动反馈的功能,这也能理解为触摸式设备的一种。但运用在VR设备上,单纯震动肯定是不够的。一种名为“数据驱动触觉”的设备,它能逼真模拟不同物体表面的粗糙度、光滑度和硬度,并通过不同的震动反馈给用户。
三者看上去是面向不同领域的技术方向,但其实也有共同之处。Senseglove Nova 2就是很好的例子,我们从中能看到抓握式、穿戴式和触摸式技术的影子,三者融合为VR触觉设备提供了更真实的触觉体验。
从更长的周期来看,一个VR手套是无法完美还原人类感知系统的,VR行业还需要增加更多设备,来实现身体、脚部等区域的触觉感知。当然,这是长远目标,现阶段,消费市场仍等待第一款消费级VR手套的诞生。
VR和AR一样,已经经历过许多次起起落落,每次蛰伏过后,必将迎来新一轮狂欢。当前VR 高速发展和普及的时机仍未成熟,受众仍以少数极客、发烧友群体为主,尚未普及至一般大众,但人类对虚拟空间的憧憬是刻在骨子里的,虽然不知道蛰伏期有多长,但VR市场终将会迎来春天。
4月25日-5月4日,北京国际汽车展览会(北京车展)正在火热进行。本届车展以“新时代新汽车”为主题,是“汽车从电动化走向智能化”的风向标。
雷科技旗下“关注电动车,更懂智能化”的账号电车通已派出豪华报道团,正在北京车展现场,进行一线专业报道,欢迎关注“电车通”获取一手专业现场报道。
相关问答
realme怎么看 传感器 ?realme的传感器有:1、光线传感器(AmbientLightSensor)光线传感器类似于手机的眼睛。人类的眼睛能在不同光线的环境下,调整进入眼睛的光线,例如进入电影院...
说说如何调整自动门维修中感应器?电动门厂家告诉您感应器维修检测技巧:如果不能保证在调整感应器内部元器件时不会碰触到电路板表面,就务必将自动门电源开关关闭,或者带上绝缘手套;很多所谓...
手机超灵敏屏为什么可以戴 手套 操作?超敏触摸特性由电容传感器领域的先锋美国新思科技(Synaptics)提供技术支持,建立在他们全新的ClearPadSeries3电容触摸屏感应技术之上。这样的技术通过自动...
电阀门双地感应器怎么接线?电阀门双地感应器的接线分为两部分:一是与电源的连接,二是与电磁阀的连接。首先,将电源线接入电阀门双地感应器的电源输入端,注意要确保电源线可靠连接,以...
复印机触摸屏哪里有[回答]电容触摸屏本身实际上是一套精密的漏电传感器,带手套的手不能触摸,由于使用电容方式,导致有漂移现象,在下节电容触摸屏有详细的介绍。超声波触摸屏...
复印机触摸屏哪里有[回答]电容触摸屏本身实际上是一套精密的漏电传感器,带手套的手不能触摸,由于使用电容方式,导致有漂移现象,在下节电容触摸屏有详细的介绍。超声波触摸屏...
亚运会电子火炬手咋弄的?亚运会电子火炬手是通过使用虚拟现实技术来实现的。首先,每一个电子火炬手都会穿上配备了传感器的特制手套,这些传感器可以感知手指的动作和姿势。接着,通过虚...
灵镜原理?灵镜技术,是继多媒体技术之后的新一代人机系统接口技术。它综合了计算机图形技术、计算机仿真技术、传感技术、显示技术等多种科技的最新成果,以仿真形式创造...
两线车速传 传感器 怎么测量?车速传感器是车辆上的一个传感器,用于检测车辆的行驶速度并将数据发送给车辆控制模块。对于两线车速传感器,其测量方法可以通过以下步骤进行:1.首先,将车辆...
手控汽车怎么使用?1.手控汽车可以通过手部动作来控制车辆的行驶和操作。2.手控汽车的使用原理是通过搭载在车辆上的传感器和控制系统,将手部动作转化为车辆的指令。例如,当驾...