触觉传感器 学术分享丨视触觉传感器的硬件技术综述
学术分享丨视触觉传感器的硬件技术综述
视触觉传感器作为一种新型的光学传感器，已经在机器人感知和操作任务中证明了其应用潜力。近年来，一些综述文献基于传感器类型、感知方法和传感功能对视触觉传感器进行了分类整理。值得注意的是，硬件尺寸的优化和性能的提升推动了传感器微型化和多模态的发展。但是，目前的文献缺乏对硬件技术的统一归纳和分析 。清华大学孙富春教授团队联合大阪大学万伟伟教授团队和中国地质大学（北京）杨义勇教授团队 ，依托国家自然基金委和日本学术振兴会国际合作项目（中方项目负责人是清华大学孙富春教授，日方项目负责人是大阪大学万伟伟教授 ），在传感器领域Q1期刊IEEE Sensors Journal 发表综述“Hardware Technology of Vision-Based Tactile Sensor: A Review ”，总结了近5年来视触觉传感器的硬件技术，包括硬件的类型、材料、制备工艺、性能以及集成技术。
下载地址：https://ieeexplore.ieee.org/abstract/document/9911183
1、引言
视触觉传感器采用视觉表征触觉的方式提高了触觉信息的质量。相比于电子类触觉传感器，它具有以下6点优势：
1）通过图像可以获取连续的触觉信息，这改善了触觉信息稀疏的问题；
2）提高了传感器的鲁棒性，避免受到环境的干扰，例如温度和磁场干扰；
3）减少了电子元件的使用，相应地降低了线路分布；
4）依靠更低的成本和更精简的结构，获取了更高分辨率的空间触觉信息；
5）相机的多模态属性利于触觉传感器多模态功能的开发和集成；
6）视觉和触觉以图像的形式更利于模态的融合。
视触觉传感器由接触模块、照明模块、图像采集模块和信息处理模块组成。信息处理模块独立于传感器，本文不具体讨论。接触模块包含接触体、反射层、标记层和保护层，它是整个传感器的核心。不同的功能层则代表了不同的传感原理，比如基于膜反射和基于标记物的表征。
图2 视触觉传感器的结构组成
2、接触模块
（1）接触体
接触体常用的材料是硅胶和乳胶材料。硅胶具有良好的回弹特性和光学属性，是使用最广泛的制备材料。硅胶基于颜色可以分为透明、半透明和有色三种硅胶。研究者依靠硅胶的透明属性追踪接触物的轮廓或者纹理的映射。半透明硅胶的主要作用提供高回弹形变，而无需考虑类似透明硅胶的成像效果。使用有色硅胶的原因主要是增加图像对比度和遮挡外部光线。除此之外，在不考虑颜色影响时，有些符合性能要求的硅胶是自带颜色。
硬度代表了传感器空间分辨率和强度之间的权衡。当感知体非常柔软时，有可能达到传感器最大的灵敏度和分辨率，但柔软特性带来了两个主要的缺点：低拉伸强度和高粘性。因此，二者的平衡取决于需求的偏重。标准的接触体制备流程主要分为四个步骤，如图3所示。第一步，按比例配制硅胶溶液；第二步，单方向均匀搅拌；第三步，将硅胶溶液放置在真空环境中静置去除气泡（有些硅胶溶液的气泡可自行析出）。最后一步，根据硅胶的特性，静置固化或者加热固化。弹性皮肤的制备和接触体的制备略有不同。首先在模具中倒入硅胶溶液，粘稠的硅胶溶液产生的静压力使得两个模具间保持间隙。待间隙中的硅胶固化，薄膜制备完成。
图3 接触体的标准制备流程
（2）标记层
标记层的作用就是通过标记物的位移或形变程度来标定感知体形变量。形变量信息包含接触力的属性特征。标记点的位移方向和程度代表了接触力的分布和大小。标记点的面积与法向力呈正相关。然而，单层标记点阵列密集且单个面积小，图像处理的误差容易与其面积的变化量混淆。所以，研究者采用多层标记点阵列来提高力的对比度。标记物的形状、分布密度和尺寸也与识别精度息息相关。每个标记物对应接触面的局部区域，理论上标记物越多，有效识别区域越大，精度和灵敏度也相应提高。然而，高密度的标记物也给图像处理和其它接触特征的表征带来了困难。标记物的制备材料有油墨、硅胶溶液、有色粉末、油漆等。总体上，制备可分为四种：表面打印标记物、单独制备标记层、内部混合标记物和标记物与感知体一体制备，如图4所示。
图4 标记层的制备方式
（3）反射层
反射层是附着在感知体表面的一层均匀、薄、光滑和牢固的薄膜。膜的细度和厚度会影响触觉映射的分辨率和物体上的细微细节的呈现。不均匀的反射层会增加触觉图像的噪声。研究者提出了两种镀层，一种是由铜片或铝片涂料制成的镜面涂层，另一种是细铝粉制成的哑光涂层。哑光涂层可以看作是一个朗伯面，利于精确测量一般形状。镜面涂层对表面向上的微小变化更敏感，比哑光涂层能提供更高的对比度信号。制备反射层最直接的方法是将材料直接涂抹在接触体表面。然而，这种方式很难保证涂料的均匀分布。研究者也采用定制的喷壶，通过高压将涂料喷射在接触体表面。虽然部分区域涂料的厚度有偏差，但能获取局部的均匀面。还有一种方法是用溅射工艺在感知体上沉积成金属薄膜。
图5 反射层的制备方式
（4）保护层
常用的保护层包括：硅胶层、织物和医用胶带。与硅胶保护层相比，富有弹性的松散织物不仅提供了感知体的防护，还能增加信号强度。医用胶带光滑且敏感，与织物相比，它保留了更多的接触细节并且具有较低的摩擦系数。虽然，它不适合繁重的抓取应用，但适用于常规检测或追踪操作任务的滑动运动。不足的是，它只能提供中等水平的保护。
3、照明模块
受模块化设计的驱动，LEDs逐渐被统一集成到电路板上。根据传感器的形状，电路板的样式包括方形、条形和环形。为了呈现感知体表面的梯度信息，Gelsight最早采用多色光叠加的照明方案。后继提出的传感器大多延续这种设计，但对光色搭配和分布形式做出了调整。没有三维重建的需求时，研究者也采用普通的白色光或者中性光。LEDs有三种分布方式：垂直照明、侧照明和接触体/亚克力的全内反射，如图6所示。通过全内反射，可以在狭小空间内实现均匀光照。
图6 LEDs的分布方式和光路设计
4、相机模块
上个世纪50年代，研究者就提出了用视觉来表征触觉。但受限于相机技术的不成熟，相机和整个传感装置的体积过于庞大。进入21世纪以来，成像技术得到快速发展，相机模组的性能也大幅提升，这间接促进了视触觉传感器的微型化、集成化发展。近年来，随着传感装置与机械手/臂趋于一体化设计，对微型相机的尺寸和性能的要求也越来越高。目前，微型相机已成为视触觉传感器的标配。而为了适应指尖视觉的应用需求，超微型的相机逐渐崭露头角。这些模块化相机可以配备额外的镜头来调节成像，例如提高清晰度、调节成像距离和增加视野。除了RGB相机外，其他专业相机，比如深度相机、红外相机也与视触觉传感器进行结合，这也为模态功能的拓展提供了硬件支持。
5、总结
本文详细回顾了近5年来视触觉传感器的硬件设计与开发。目前，视触觉传感器在耐用度、互换性、装配性、灵敏度、多模态、光学优化、产线结合和抗干扰等八个方面面临挑战。视触觉传感器作为交叉学科的产物，需要与时俱进地结合各学科的前沿技术。作者认为，触觉仿生技术、超微型相机技术和新型触觉材料可能是下一代视触觉传感器发展的突破口。为了给不同领域的研究者提供一个通用的开发指南，作者结合多年来视触觉传感器的制备工作，制定出了一条标准的工艺流程（详见综述原文）。该流程以使用需求和工艺关联为导向，方便其他发开者的拓展和补充。本文也希望能进一步提升视触觉传感器的硬件性能，推动该方向的研究发展。
参考文献：
Zhang, S., Chen, Z., Gao, Y., Wan, W., Shan, J., Xue, H., ... & Fang, B. "Hardware Technology of Vision-Based Tactile Sensor: A Review," in IEEE Sensors Journal , 2022, doi: 10.1109/JSEN.2022.3210210.（Corresponding author: fangbin@tsinghua.edu.cn）
本文由CAAI认知系统与信息处理专委会供稿
36氪首发 触觉传感器公司帕西尼感知科技获陆奇天使轮融资，触感技术是Meta元宇宙重点
36氪获悉，触觉传感器公司帕西尼感知科技（PaXini Tech.）已完成数百万元天使轮融资，领投方为前百度总裁陆奇创立的奇绩创坛。
帕西尼感知科技主要开发产品为三维智能触觉传感器PX Chip，是国内唯一多维度触觉传感器的公司。目前，国内触觉传感器产品主要为单一维度的电阻电容薄膜型，如多阵列、多维度的传感器依赖国外进口程度达95%，并且价格高昂，体积厚重，难以集成应用。
创始人许晋诚毕业于日本早稻田大学，师从日本机器人学界权威菅野重树教授麾下Sugano Lab.在Sugano Lab，曾诞生世界第一款人形机器人。许晋诚博士团队拥有有超过7年高精度触觉传感器、机械臂灵巧手方向技术积累，同时与日本发那科、EPSON等头部企业落地多个项目。核心团队成员均来自于先进制造领域头部企业、拥有创业获得并购经历。
由于国内产品受到材料与工艺的限制，触觉传感器一直难商品化，并且由于其寿命短、精度差，导致在精密机械制造中，触觉信息及反馈不够丰富，造成自动化进程的缺失。自动化生产、机器人行业对高耐久度、高精准度的传感器有极大的需求。许晋诚介绍，PX Chip触觉传感器的使用寿命能达到目前市面产品的200倍，耐用度达到20万次以上。PX Chip™为多阵列三轴触觉传感器，核心技术包括高精度、低噪声的触觉信号分析系统，仿生皮肤结构设计、立体三维传感技术及触觉数据库等。
产品图，图片来自企业官方
帕西尼触觉传感器PX Chip™目前包含三个关键模块，分别为独自开发的磁场传感电路软板及弹性复合材料以及首款PX Db触觉数据库。通过感受物理表面特征，帕西尼感知科技的触觉传感器具备柔软度、摩擦力、质地、热导量、表面黏性五大感知维度，精准度可以达到0.01N~19N，响应速度为0.1ms。触觉分辨率逼近人类皮肤感知的极限1.2mm（人类皮肤最多能够分辨1mm的物体间距）。
2004年，日本庆应大学理工系已经开始使用软硅胶制造半球状的感知器，可以分析被接触物体表面的粗糙程度和形状，主要会用于机器人手指。
而这两年触觉传感器的适用范围除了机器人，还扩充到了VR领域。Facebook更名为Meta后，最近也公布了新的触觉感知生态系统。他们开发了低成本的触觉传感器DIGIT，并配合与卡内基梅隆大学合作开发的触摸感应“皮肤”ReSkin，可以让机器人更精准地感知外界，为AI提供现实环境的学习数据，理解现实并更好地交互。
目前，触觉传感器应用场景十分广泛，不论在机器人机械臂感知，在自动化，医疗、穿戴式设备、航空航天等领域也有广泛市场需求。帕西尼感知科技已经获得数家包括先进制造、纺织行业的头部客户合作，专注提供国内目前唯一一款精度在0.01N到50N的三维度触觉传感器定制化产品，解析触感及提供触觉数字化服务 。
除了仿生皮肤，Meta还发布了VR手套，可以给予用户交互体验，这也是帕西尼正在发展的方向之一。“触觉传感器难形成闭环，但经由触觉反馈装置，实际上形成了和用户的交互闭环。” 许晋诚表示。
奇绩创坛合伙人毛圣博表示：“触觉感知可能是人类与物理世界最重要的交互方式之一，如果缺乏触觉，人类的感知能力将十分受限、甚至怀疑本体的存在。目前触觉研究领域还处于初级阶段，我们非常看好帕西尼感知科技的顶级触觉传感器研发及商业落地能力。团队自主研发了国内唯一一款轻薄多阵列三维触觉传感器，已率先落地并实现部署。 触觉传感器相关的应用场景极其广泛，从工业柔性物流生产至全真虚拟环境触觉反馈，触感解析及触感数字化将会是关乎世界发展至关重要的一环。”
相关问答
触觉传感器 有哪些?触觉传感器是用于机器人中模仿触觉功能的传感器。按功能可分为接触觉传感器、力-力矩觉传感器、压觉传感器和滑觉传感器等。接触觉传感器用以判断机器人(主要...
触觉传感器 技术哪个国家领先?日本阵列式传感器能在10厘米×10厘米大小的基质中分布100个敏感元件,由于衬底柔软,对不同方向力的计算以及力之间耦合干扰的消除使得敏感元件越多、相互之间的...
为机器人提供 触觉 的 传感器 可能是?模拟跟人一样的有动力模拟跟人一样的有动力
...器a.视觉 传感器 b.嗅觉传感器c.听觉传感器d. 触觉传感器 _作业帮[最佳回答]这些都是仿生传感器范畴,除了生物传感器可以实现仿生传感技术以外,视觉可由光学传感器实现,嗅觉可由化学(气体)传感器实现,听觉可由振动传感器实现,...
传感器 已关闭是干嘛的?就是关闭了传感器,那样它不会自动工作。传感器是一种设备、模块或子系统,其目的是检测环境中的事件或变化,并将信息发送给其他电子设备,通常是计算机处理器...
静电 传感器 到底是什么?传感器是一种检测装置,能感受到被测量的信息,并能将感受到的信息,按一定规律变换成为电信号或其他所需形式的信息输出,以满足信息的传输、处理、存储、显示、...
哪位大侠，有谁知道:感觉统合训练 触觉 感是怎么回事?[回答]触觉紊乱:皮肤感应器杂讯触觉就是指孩子在妈妈的子宫里,一直到出生于、茁壮过程中都必须运用的最基本的感觉。我们能感受到的冷、热、痛、痒等感觉,...
触感器是什么?是一种传感器。触觉器是测量信息从与它的环境的物理相互作用而产生的装置。触觉器通常在皮肤接触的生物学意义上建模,该能力能够检测到由机械刺激,温度和疼痛...
指纹 传感器 总结?传感器是一种检测装置,能感受到被测量的信息,并能将感受到的信息,按一定规律变换成为电信号或其他所需形式的信息输出,以满足信息的传输、处理、存储、显示、...
传感器 是一种传递什么的器件?传感器(英文名称:transducer/sensor)是一种检测装置,能感受到被测量的信息,并能将感受到的信息,按一定规律变换成为电信号或其他所需形式的信息输出,以满...