清华大学申请视触觉传感器检测专利，提高视触觉传感器的检测准确度

金融界2024年4月10日消息，据国家知识产权局公告，清华大学申请一项名为“视触觉传感器检测方法、装置、视触觉传感器、电子设备“，公开号CN117853441A，申请日期为2023年12月。

专利摘要显示，本申请提供了视触觉传感器检测方法、装置、视触觉传感器、电子设备。方法包括：通过微型相机采集特征点的特征点成像信息，其中，所述特征点分布在视触觉传感器的弹性体下表面；通过所述微型相机采集参考点的参考点成像信息，其中，参考点分布在视触觉传感器的透光板材表面；根据参考点成像信息和预设参考点成像信息进行位置偏离计算，得到偏离计算结果；根据所述偏离计算结果对所述特征点成像信息进行修正，得到修正后的特征点成像信息；将所述修正后的特征点成像信息代入预先设置的力学模型，得到视触觉传感器检测结果。由于本申请利用参考点补偿了特征点成像信息因微型相机升温导致的差异，提高了视触觉传感器的检测准确度。

本文源自金融界

学术分享丨视触觉传感器的硬件技术综述

视触觉传感器作为一种新型的光学传感器，已经在机器人感知和操作任务中证明了其应用潜力。近年来，一些综述文献基于传感器类型、感知方法和传感功能对视触觉传感器进行了分类整理。值得注意的是，硬件尺寸的优化和性能的提升推动了传感器微型化和多模态的发展。但是，目前的文献缺乏对硬件技术的统一归纳和分析 。清华大学孙富春教授团队联合大阪大学万伟伟教授团队和中国地质大学（北京）杨义勇教授团队 ，依托国家自然基金委和日本学术振兴会国际合作项目（中方项目负责人是清华大学孙富春教授，日方项目负责人是大阪大学万伟伟教授 ），在传感器领域Q1期刊IEEE Sensors Journal 发表综述“Hardware Technology of Vision-Based Tactile Sensor: A Review ”，总结了近5年来视触觉传感器的硬件技术，包括硬件的类型、材料、制备工艺、性能以及集成技术。

下载地址：https://ieeexplore.ieee.org/abstract/document/9911183

​

​1、引言

​ 视触觉传感器采用视觉表征触觉的方式提高了触觉信息的质量。相比于电子类触觉传感器，它具有以下6点优势：

1）通过图像可以获取连续的触觉信息，这改善了触觉信息稀疏的问题；

2）提高了传感器的鲁棒性，避免受到环境的干扰，例如温度和磁场干扰；

3）减少了电子元件的使用，相应地降低了线路分布；

4）依靠更低的成本和更精简的结构，获取了更高分辨率的空间触觉信息；

5）相机的多模态属性利于触觉传感器多模态功能的开发和集成；

6）视觉和触觉以图像的形式更利于模态的融合。

​

视触觉传感器由接触模块、照明模块、图像采集模块和信息处理模块组成。信息处理模块独立于传感器，本文不具体讨论。接触模块包含接触体、反射层、标记层和保护层，它是整个传感器的核心。不同的功能层则代表了不同的传感原理，比如基于膜反射和基于标记物的表征。​

图2 视触觉传感器的结构组成

​2、接触模块

（1）接触体

接触体常用的材料是硅胶和乳胶材料。硅胶具有良好的回弹特性和光学属性，是使用最广泛的制备材料。硅胶基于颜色可以分为透明、半透明和有色三种硅胶。研究者依靠硅胶的透明属性追踪接触物的轮廓或者纹理的映射。半透明硅胶的主要作用提供高回弹形变，而无需考虑类似透明硅胶的成像效果。使用有色硅胶的原因主要是增加图像对比度和遮挡外部光线。除此之外，在不考虑颜色影响时，有些符合性能要求的硅胶是自带颜色。

硬度代表了传感器空间分辨率和强度之间的权衡。当感知体非常柔软时，有可能达到传感器最大的灵敏度和分辨率，但柔软特性带来了两个主要的缺点：低拉伸强度和高粘性。因此，二者的平衡取决于需求的偏重。标准的接触体制备流程主要分为四个步骤，如图3所示。第一步，按比例配制硅胶溶液；第二步，单方向均匀搅拌；第三步，将硅胶溶液放置在真空环境中静置去除气泡（有些硅胶溶液的气泡可自行析出）。最后一步，根据硅胶的特性，静置固化或者加热固化。弹性皮肤的制备和接触体的制备略有不同。首先在模具中倒入硅胶溶液，粘稠的硅胶溶液产生的静压力使得两个模具间保持间隙。待间隙中的硅胶固化，薄膜制备完成。

图3 接触体的标准制备流程

（2）标记层

标记层的作用就是通过标记物的位移或形变程度来标定感知体形变量。形变量信息包含接触力的属性特征。标记点的位移方向和程度代表了接触力的分布和大小。标记点的面积与法向力呈正相关。然而，单层标记点阵列密集且单个面积小，图像处理的误差容易与其面积的变化量混淆。所以，研究者采用多层标记点阵列来提高力的对比度。标记物的形状、分布密度和尺寸也与识别精度息息相关。每个标记物对应接触面的局部区域，理论上标记物越多，有效识别区域越大，精度和灵敏度也相应提高。然而，高密度的标记物也给图像处理和其它接触特征的表征带来了困难。标记物的制备材料有油墨、硅胶溶液、有色粉末、油漆等。总体上，制备可分为四种：表面打印标记物、单独制备标记层、内部混合标记物和标记物与感知体一体制备，如图4所示。

图4 标记层的制备方式

（3）反射层

​ 反射层是附着在感知体表面的一层均匀、薄、光滑和牢固的薄膜。膜的细度和厚度会影响触觉映射的分辨率和物体上的细微细节的呈现。不均匀的反射层会增加触觉图像的噪声。研究者提出了两种镀层，一种是由铜片或铝片涂料制成的镜面涂层，另一种是细铝粉制成的哑光涂层。哑光涂层可以看作是一个朗伯面，利于精确测量一般形状。镜面涂层对表面向上的微小变化更敏感，比哑光涂层能提供更高的对比度信号。制备反射层最直接的方法是将材料直接涂抹在接触体表面。然而，这种方式很难保证涂料的均匀分布。研究者也采用定制的喷壶，通过高压将涂料喷射在接触体表面。虽然部分区域涂料的厚度有偏差，但能获取局部的均匀面。还有一种方法是用溅射工艺在感知体上沉积成金属薄膜。

图5 反射层的制备方式

（4）保护层

常用的保护层包括：硅胶层、织物和医用胶带。与硅胶保护层相比，富有弹性的松散织物不仅提供了感知体的防护，还能增加信号强度。医用胶带光滑且敏感，与织物相比，它保留了更多的接触细节并且具有较低的摩擦系数。虽然，它不适合繁重的抓取应用，但适用于常规检测或追踪操作任务的滑动运动。不足的是，它只能提供中等水平的保护。

3、照明模块

受模块化设计的驱动，LEDs逐渐被统一集成到电路板上。根据传感器的形状，电路板的样式包括方形、条形和环形。为了呈现感知体表面的梯度信息，Gelsight最早采用多色光叠加的照明方案。后继提出的传感器大多延续这种设计，但对光色搭配和分布形式做出了调整。没有三维重建的需求时，研究者也采用普通的白色光或者中性光。LEDs有三种分布方式：垂直照明、侧照明和接触体/亚克力的全内反射，如图6所示。通过全内反射，可以在狭小空间内实现均匀光照。

图6 LEDs的分布方式和光路设计

4、相机模块

上个世纪50年代，研究者就提出了用视觉来表征触觉。但受限于相机技术的不成熟，相机和整个传感装置的体积过于庞大。进入21世纪以来，成像技术得到快速发展，相机模组的性能也大幅提升，这间接促进了视触觉传感器的微型化、集成化发展。近年来，随着传感装置与机械手/臂趋于一体化设计，对微型相机的尺寸和性能的要求也越来越高。目前，微型相机已成为视触觉传感器的标配。而为了适应指尖视觉的应用需求，超微型的相机逐渐崭露头角。这些模块化相机可以配备额外的镜头来调节成像，例如提高清晰度、调节成像距离和增加视野。除了RGB相机外，其他专业相机，比如深度相机、红外相机也与视触觉传感器进行结合，这也为模态功能的拓展提供了硬件支持。

5、总结

本文详细回顾了近5年来视触觉传感器的硬件设计与开发。目前，视触觉传感器在耐用度、互换性、装配性、灵敏度、多模态、光学优化、产线结合和抗干扰等八个方面面临挑战。视触觉传感器作为交叉学科的产物，需要与时俱进地结合各学科的前沿技术。作者认为，触觉仿生技术、超微型相机技术和新型触觉材料可能是下一代视触觉传感器发展的突破口。为了给不同领域的研究者提供一个通用的开发指南，作者结合多年来视触觉传感器的制备工作，制定出了一条标准的工艺流程（详见综述原文）。该流程以使用需求和工艺关联为导向，方便其他发开者的拓展和补充。本文也希望能进一步提升视触觉传感器的硬件性能，推动该方向的研究发展。

参考文献：

Zhang, S., Chen, Z., Gao, Y., Wan, W., Shan, J., Xue, H., ... & Fang, B. "Hardware Technology of Vision-Based Tactile Sensor: A Review," in IEEE Sensors Journal , 2022, doi: 10.1109/JSEN.2022.3210210.（Corresponding author: fangbin@tsinghua.edu.cn）

本文由CAAI认知系统与信息处理专委会供稿

相关问答

刹车盘内侧。拆下传感器,用5-10%的三氯化铁溶液加过量的盐酸,这个比例要视传感器头子表面的情况而定。将传感器放到溶液里浸泡,10-15分钟后取出,用水冲净,...

[最佳回答]汽车传感器的清洗方法如下:1、拆下氧传感器,用5-10%的三氯化铁溶液加过量的盐酸,这个比例要视传感器头子表面的情况而定。将氧传感器放到溶液里浸泡...

[回答]用千斤顶把车举起来,确保它处于合适的位置,将其车盖打开然后将汽车氧传感器取出来接着将氧传感器放到溶液里浸泡,10-15分钟后取出,用水冲净即可。氧...

[回答]氧传感器的清洗方法非常多,最简单的办法就是用烧热的白醋进行清洗。不过这个方法有一个弊端,就是只能清洗轻微脏污的氧传感器。如果氧传感器脏污的...

您好,如果下视传感器被遮挡或擦了,它可能无法正常工作。下视传感器是用来帮助飞行器稳定飞行和避免障碍物的。如果遮挡或擦掉了,飞行器可能会出现稳定性问题或...

[最佳回答]三根线的曲轴位置传感器测量方式:关闭点火开关,断开曲轴位置传感器插头,测量传感器1和2端之间数值范围;打开点火开关,测量两条信号线的接地电压;启...

扫地机器人的下视传感器被遮档把遮挡物拿丢就可以了扫地机器人的下视传感器被遮档把遮挡物拿丢就可以了

原因如下1、大疆无人机的机器GPS模块损坏,就导致无法正常作业,解决方案是联系售后,更换GPS模块。2、dji大疆无人机功用正常情况下,绝大多数是由于周围飞翔...

白醋是弱酸性,有一定的去污效果,但比较适合氧传感器轻微脏污的情况,不然很难看到效果。一般情况下,比较推荐使用三氯化铁溶液加过量的盐酸清洗比较...

氧传感免拆清洗方法:1、氧传感简单的清洗方法脏污不严重的可以使用化油器清洗剂清洗,如果严重的话化油器清洗剂洗不下来的,可以试试洁厕灵或者盐酸...