压力传感器mpx 学术分享丨基于视觉方式的机械臂大面积触觉感知

发布时间：2024-10-06 12:10:20

学术分享丨基于视觉方式的机械臂大面积触觉感知

随着学会的队伍不断发展壮大，分支机构的发展愈发完善，丰富多彩的分支活动与学术分享也频频呈现。从去年以来，CAAI认知系统与信息处理专委会积极倡导学会“疫情防控不放松，学习充电不间断”的理念，邀请年轻学者结合本专委会自身领域研究精选相关文献进行研究与再解读，本期与大家分享《基于视觉方式的机械臂大面积触觉感知》。

随着人类和机器人之间的安全和智能交互需求的增加，促进了为机器人装备全身皮肤的研究，以感知多种形式，特别是触觉感知。为机器人配备合适的触觉反馈，可以促进他们通过触觉感知环境，就像人类的触觉感知和外界互动一样。迄今为止，很少有研究可以有效地为机器人提供大面积的触觉传感。而基于视觉的传感器利用相机记录人工皮肤的变形，转换为触觉信息，这为柔性触觉皮肤提供了优势，包括高空间分辨率和灵敏度。这种技术可以在没有传感器的情况下感知机器人皮肤大区域的变形，显著减少了布线、电子设备和损坏的风险。近期，来自日本高级科学技术研究所的Lac Van Duong和Van Anh Ho两位研究员提出了一种用于机器人的大型触觉传感系统——TacLINK，并发表在IEEE TRANSACTIONS ON ROBOTICS期刊上。

一．简介

TacLINK—该系统可组装成一个完整的机器人手臂。该系统是一个细长的结构，包括一个刚性透明的骨骼，覆盖着连续的人造柔性皮肤。TacLINK柔软的表面不仅提供触觉力的反馈，还可以通过低压充气改变其形状和刚度。当与周围环境接触时，位于透明骨骼两端的立体摄像头会跟踪内壁上的标记阵列，从而使TacLINK通过皮肤的三维变形来获取触觉信息。通过建立了一个有限元模型(FEM)来描述作用力和标记点位移之间的关系，从而可以模拟推导出详细的触觉信息，包括接触分布的几何形状和作用力分布，而不用考虑接触的数量。TacLINK具有规模可扩展、操作耐用、成本低以及高性能的特点，可广泛应用于机械臂、假肢臂、类人机器人等的设计。本文通过系统的设计、建模、校准、实现和评估来展开介绍。

图1 (左)具有大规模触觉的机器人(即TacLINK)的配置。(右)配备了TacLINK的协作机器人UR5的草图，通过触觉实现安全智能的交互。

二．系统设计

A. 结构设计

图1展示了TacLINK的整体视图和内部结构。它由一个连接两端的透明亚克力管组成，充当骨骼框架以保持其刚性。每端都有一个连接部分，可以容纳鱼眼镜头CMOS相机(ELP USBFHDO1M-L21：分辨率640 *480，帧率30 fps，视野为150°)和一系列用于照明的高强度LED。LED光源使用偏振滤光器产生均匀光并减少反射光。为了阻挡LED对着摄像头的直接光线，亚克力管的中间设置了一个黑色区域。TacLINK覆盖着柔软连续的人造皮肤，并染成黑色，使内部空间与环境光完全隔离。基于摄像机的可探测性，总共240个直径为2.8mm的白色标记点在人造皮肤的内壁上牢固地附着。

TacLINK的传感原理包括两端各一个的同轴摄像机，它们构成了一个立体摄像机。这些相机拍摄皮肤内壁标记点的连续照片，使计算所有标记点在全局坐标系中的三维位置成为可能。该方法利用有限元来计算基于结构刚度矩阵的作用力分布，并提取标记点的位移。接触力可以看作是有限元模型节点力产生的集中作用力。

图2 皮肤的制造。(a)3D打印部件。(b)用硅胶填充内壁的孔以浇注标记点。(c)带有分布标记的实际柔软皮肤的内部和俯视图。

B. 人造皮肤

TacLINK通过皮肤来感知触觉信息，皮肤的特性在触觉特性中起着重要的作用。采用弹性好、混合黏度较低的硅橡胶材料Ecoflex 00-50(Smooth-On Inc.， USA)制成厚度为3.5mm的人造皮肤。表皮是通过浇注的方法制作的，如图2所示。具体的制备过程和工艺请参考原论文。

三．视觉模型

基于视觉的系统的目标是通过跟踪标记物的位置来构建柔软皮肤的三维形状。图3(a)展示了由基线和光学轴沿模块中心线的两个同轴摄像机组成的立体摄像机。全局坐标系(WCS)的Z轴与基线重合，其原点位于第一端的中心(摄像机1)。立体模型用于描述标记点的三维位置。作者通过分析立体重建的不确定性（包括相机参数的影响），以对优化最佳的工作空间进行设计。分析发现：位于中间位置的标记，其测量精度往往比靠近两端的标记高；标记靠近两端，远离中心线可以获得局部精度较高的Z轴坐标。此外，调整镜头的焦距可以进一步提高精度。

图3 立体相机的配置。要求坐标系位于基线上，它的原点与第一端的中心重合，x轴平行于相机框架的坐标轴。

四．标记点追踪和皮肤的有限元的建立

作者介绍了一种稳健的算法来实现跟踪与匹配相结合的立体标定。随后，在遮挡或视力有限的情况下，使用技术测量大变形下皮肤的三维表面，提供每个标记物的精确位置。首先，立体视觉被设计用来测量所有节点在24*11网格皮肤上的三维位置。为了克服之前方法在追踪精度、抗噪声干扰、识别效率的不足，作者提出了一种主动跟踪算法用于立体图像的非刚性点集的标定。图4(a)为立体图像中所有标记的分布情况，其中每条二维路径包含10个标记点，且有24条路径。在每一幅图像中，当接近中心时，标记看起来彼此很近，这使得很难检测到远处的标记。因此，标记应该从每幅图像的边界区域追踪到其中心，相应的减少了检测的可能性。通过相似性，每条路径都可以用有限的节点集合来建模;如果假设在变形条件下，路径沿直线受到强制约束，所构造的连接节点的路径是连续光滑的。该假设贯穿于配准算法的始终。归根结底，立体标定问题可以归结为为每条路径寻找最优节点集。

图4 验证所提出的立体实现的场景，在其中的TacLINK是在一个长圆柱面接触。(a)立体图像与提出的直观路径跟踪算法。(b)立体图像重建人造皮肤的三维变形。

考虑到在身体接触中，标记点检测的不确定性可能是由于缺乏视野和遮挡。作者提出三个步骤：第一，基于立体模型可以很容易地计算出这两种相机图像上所捕捉到的标记点的三维坐标；第二，错过的标记点或者标记点没能被一台相机完全捕捉到，其Z轴坐标可以估计为初始值，并且X和Y轴坐标可以由另一台相机计算得到。第三，通过同一路径下的相邻图像进行线性插值，可以估计出未检测到的标记点的坐标。针对标定过程中产生的误差，需要对相机参数估计和对焦距失真修正。

为了建立标记点位移与外力之间的关系，作者建立了皮肤的有限元模型。为了便于建模，皮肤被假定为线性且弹性。基于Reissner Mindlin理论，采用膜和弯曲相结合的平壳单元对皮肤进行建模。当只考虑静态模型，忽略了重力对皮肤的影响时，假设重力对皮肤的影响远远小于测量力的范围。其中，有限元建立主要包括网格和几何元素，有限元方程与模拟等。触觉力可以定义为作用于皮肤表面的外力，但不包括内部压力所产生的分布力。基于有限元模型，可以推导出位移与力的直接关系。

五．实验验证

在建立的实验平台（图5）内，TacLINK固定在一个刚性垂直位置。内部压力使用气动节流阀进行调整，并使用了压力传感器(MPXV7007， NXP Inc.，美国)。为了提供与皮肤的精确外接触位移，设置了一个6自由度机器人手臂(VP-6242，DensoRobotics，日本)，它可以精确移动，具有高重复性，误差控制在0.02mm。通过一个三轴力传感器(USL06-H5-50 N，Tec Gihan，日本)，一个探头被连接到机器人末端执行器的中心。

图5 实验平台

主要的实验为三维重建精度的评估、杨氏模量校准、基于有限元模型的触觉力感知评估等。对于三维重建精度的评估，通过评估路径上自由节点径向位移的测量误差，验证了立体三维重建的性能。作者在内部气压为零的情况下进行了十次试验。由于皮肤上的几何约束，位于两端附近的两个节点只能被移动5毫米。实验结果表明，绝对误差在0.7 mm以下。

通过准静态条件下的压缩试验，可以估算了皮肤材料的弹性杨氏模量。作者又进行了共30个试验，在不同的压力水平下提供空气。在膨胀过程中，一个程序可以自动记录这些压力下的数据，通过最小化实验确定的变形与线性有限元模型预测的变形之间的差异，实现模量参数的估计。

图6 皮肤表面三维触觉力重建的实验结果。(a)在节点127处用单点接触进行测试。(b)多个触点下的感知性能。

作者最后分别在单点受力和多点受力状态下，对触觉力感知效果进行评估。单点受力下，在没有内部压力的情况下，在每一个受力处，合力都能很好地匹配。然而，当施加压力时，TacLINK节点处的触觉力呈线性增加，但显著低于测量力。除此之外，作者做了另一个实验，用两根手指随机触摸人造皮肤的不同区域。图6显示了单点区域和多点接触区域三维变形和外力的鲁棒性重构。一般来说，在任何位置的物理相互作用条件下，TacLINK记录了由外力引起的皮肤表面的详细三维变形，记录其位置和强度由触觉力的分布。此外，使用离散传感元件的触觉皮肤设计不能检测到这些元件未占用的区域的触觉，然而，使用FEM重构连续区域的力，传感系统可以同时感知整个皮肤表面的触觉力。

六．结论

本文介绍了为具有大规模触觉皮肤的机器人所开发的触觉系统，展示了其设计的可行性和触觉重建的鲁棒性。该系统具有成本低、可扩展结构简单、实时性好等优点。特别是，TacLINK不仅装备了感应能力，而且可以在与环境交互时改变它的形式和刚度。部署具有高度变形能力的TacLINK和触觉力反馈，将使机器人能够安全、智能地交互。作者认为还存在一些局限性和技术问题需要进一步克服和改进。例如力重建可能不能很好地代表力强度，特别是在应用内部空气压力的过大接触区域。需要进一步的设计改进和研究来克服这些限制；亚克力管的尺寸及其所能承受的强度需要校核等。

本文参考来自L. Van Duong andV. A. Ho， "Large-Scale Vision-Based TactileSensing for Robot Links：Design，Modeling，and Evaluation，" in IEEE Transactions on Robotics， doi：10.1109/TRO.2020.3031251.

本文由CAAI认知系统与信息处理专委会供稿

高空安全保障，EN13796-3标准下，索道吊舱疲劳测试规定实验解释

阅读前，请伸出您的贵手点击一下关注，希望能给您带来不一样的阅读体验，可以在评论区进行讨论和分享哦感谢您的支持！

文案|栾城苏

编辑|栾城苏

简介

你是否对常年横在高空中的索道产生过疑问，担心他们会不会突然承受不住压力断裂？一般来讲，索道都会通过一系列的措施和测试，来确保能够安全的应对它的工作。

而认证测试是公共交通新产品设计和实施过程中最重要的测试之一，这是由于标准的要求，以及需要由权威的认证实验室，在严格定义的条件下进行，这条规定也适用于架空索道的缆车。

在索道吊舱疲劳测试中，最重要的标准是“客运索道的安全要求，还有驾驶过程中的疲劳测试“EN13796-3：2017”标准，是设计用于载人的索道装置的载体。

而把手、载车、车载制动器、机舱、椅子、车厢、维修载体等，由于缆车设计过程本身很复杂，必须考虑先决条件（人数，支撑方法，材料）以及工作条件和安全规定。

在设计过程中，还需要考虑动态载荷的可能性，需要以适当的安全系数扩展计算和实验测试，吊舱的设计还应考虑到承重绳和中间元件的强度，如果绳索损坏可能会导致事故的发生。

关于小车的测试，重要的是选择合适的连接元件方法（焊接、铆接等）及其疲劳寿命，关于货车和车辆本身，引入了超载时的风险管理，这也将转化为安全系数的水平。

这项工作显示了所讨论问题的细节，以及解决这些问题的建议方法，同时保持了EN13796-3标准和材料，以及疲劳和认证测试中其他标准的所有要求。

根据机械性能的不同，进行研究的一个重要原因是了解材料疲劳现象，如前所述，吊舱的结构结合了铝（Al2024-T4）和由42CrMo4合金制成的钢（焊接）元件。

私人测试的4-T42铝、4CrMo25钢和同一钢的电弧焊的S-N曲线示例。

所使用材料的强度

一般来说，2024-T4铝合金的疲劳强度低于42CrMo4合金钢，这种钢还具有上述范围内的稳定性，1×106循环（不降低耐久性）-耐久性限制，焊接上述合金会降低其疲劳强度，从而在相同的循环次数下降低失效应力水平。

由于上述原因，以及应力的复杂状态和复杂的几何形状，以及将元件紧固在一起的复杂状态，不可能为可用于生产吊舱的上述材料选择代表疲劳的单一曲线。

因此有必要进行整体疲劳测试，并在零碎测试中验证整个结构，而不是其单个零件，以上就是提出和讨论索道吊舱疲劳试验的基础。

而它的解决方法，因为考虑到其他建议和良好实践，将以TRANSSYSTEMS.A.在索道缆车上进行的疲劳测试为例进行介绍，在遵循提出的解决方案和建议的条件下，显著的缩短研究时间。

在所讨论的案例中，仅用了8周时间，就产生了5万次负载循环，并进行了11次DIC测试和目视检查。

测试是作为载荷强度的函数进行的，产生的负载应该是正弦的，此外EN13796-3标准假设的结构，应该每500，000次循环进行一次验证。

测试状态下EN13796-3标准假设在两个负载级别（分别为1级和2级）进行测试，在实践过程中，1级适用于每个测试，而2级中的值，则是取决于连接吊舱的方法，级别1和级别2总共提供5万次负载循环。

索道缆车（研究设施）的说明性图纸（a）和照片（b），其中标有最重要的建筑元素（L-长度，B-宽度，H-高度）

在上部框架中，有4个用于吊索和离合器的安装孔，用于在疲劳测试中定位和安装吊舱，底部框架与环的连接方式与环下部的上框架类似。

吊舱的环形元件由冷成型铝型材制成，这种处理方法会导致结构中的永久性塑性变形，并在承重型材中产生复杂的应力状态，这种执行技术减轻了结构的缓解（减轻了整套设备的重量），最大限度地减少了螺钉连接，并避免了中心被腐蚀。

另一方面，冷成型会显著影响疲劳寿命，型材的内表面上会有压应力，外表面会有拉应力，在这些部件上形成的安装孔，可能成为未来疲劳开裂的隐患。

地板的结构基于两个C型梁和一个横向与纵向梁系统，构成了未来地板的基础，接受测试的吊舱宽度为1999毫米，长度为2391毫米，高度为2600毫米。

测试的吊舱由钢和铝合金制成，作为疲劳测试的一部分，必须对整个结构进行了验证，并且所有元件，无论制造材料如何，都要进行目视测试，因为制造商没有义务提供有关制造测试吊舱的材料的详细信息。

负载生成

吊舱应使用C型梁和铰接接头系统安装在强度笼中，以确保适当的自由度数，吊舱悬挂在主耐力笼的上梁上。

标有最重要装配元件的吊舱几何模型

上吊舱组装的基础是C140梁组，在吊舱装载系统的过程中，所有横梁均由S235钢制成，螺钉连接中的螺栓由42CRMo4+QT钢制成。

装载索道吊舱的方法基于拉力的动态生成，在所讨论的情况中，测试将在吊舱的悬挂位置进行，这对应于力方向的垂直变化，产生力的传感器将是一个由5/2阀门和快速释放阀组成。

带有可拆卸头架的圆形架空铁路的测试参数（要求），用于握把、悬架、中间结构、驾驶室或椅子以及座椅

该方法通常用于力系统，因为反应速度和产生的力与结构变形的独立性，在步进器和机械致动器的的联动过程中，有必要建立行程，确保它可以随着结构的潜在永久变形而变化。

由于执行器中产生的压力与力之间的直接关系，力是活塞杆面积与气动系统中压力的乘积，强迫力将是可重复的，即，该解决方案中的力取决于压力量。

在DasyLab环境中提供给系统的压力值信号，被转换为力的实际值，同时在控制计算机的磁盘上以连续模式记录其值。

Airworks选择符合ISO200标准的50mm气动气缸来产生载荷，作为索道吊舱疲劳测试的一部分，根据制造商提供的数据，它可以在高达10巴的工作压力下工作，它可以达到2199公斤的力，由于力和工作压力之间的关系是线性的，因此确定假设载荷为2140kg。

航空航天工程系的气动系统在8bar的压力下运行，使用的压力传感器是MPX5999DP摩托罗拉飞思卡尔压阻传感器。

基于上述控制系统和假设的加载方法，将正弦负载循环引入吊舱结构中，计划根据对空气的需求和正确控制实际系统的能力，以1到4Hz的负载频率进行测试。

EN13796-3和EN13796-1标准未定义负载频率，钢的疲劳测试标准允许频率高达10H。

吊舱疲劳试验中的载荷图

根据上述规范性指南，测试应在假设负载为正弦性质的情况下进行，事实上，这种状态很难实现，并且假设频率为2.5Hz。

根据之前的数据，可以将测试的结构分为几个用螺栓连接的组件，然后再根据制造商提供的数据，使用的螺钉连接用适当的方法拧紧扭矩，并用适当的螺母和胶水固定。

螺栓和螺钉验证

但考虑到松开连接的可能性，有必要确定螺栓相对于元件的原始位置及其后续进行检验，以确定螺栓的潜在游隙、旋转或松动的外观。

采用的气动系统，必须产生高达21kN的力，适当选择活塞直径，将其转化为执行器的选择，有助于产生频率约为2Hz的负载。

这样设计的系统可以产生更高的负载频率，但结构弹性响应又太慢，如果转化为正弦载荷的平均值变化，这将使测试与EN13796-3标准不兼容。

该标准下的力分布

根据EN13796-1标准，负载应均匀分布在地板上，但由于上述原因，荷载将会由水平放置的一系列6根C100梁承载，而梁截面的数量是根据测试吊舱的假设载客量（6人）选择的。

每个梁杆都位于底部吊舱框架的边缘梁杆和角杆上，C型梁和力施加点的布置总载荷应为21kN。

理论上一个螺栓携带约1.75kN，共有12个螺栓在梁和底框架之间，在连接到气动执行器的下部载荷生成系统之间传递载荷，C型梁每28厘米间隔一次，其中有两个中间的梁与吊舱轴线（沿Y轴方向）偏移14厘米。

并且装载螺栓，从吊舱的中心轴分布在距离吊舱中心轴33厘米（X轴方向）处，螺栓之间的距离为66厘米。

这个距离大约相当于整个缆车宽度的1/3（199.9厘米）和缆车底部框架宽度的大约2/3（102厘米），施加力的极端点距离底部框架的边缘大约为13.5厘米。

为了分析DIC结果，我们可以将吊舱标记给独立定义，比如E1-环A，E2-环B，P-地板/底部框架，S-天花板/上框架，纵向尺寸用字母L标记，横向尺寸用字母B标记，垂直方向的尺寸用字母H标记。

连续测量中吊舱特征尺寸（变形）的变化

根据进行的测试，准备了一组结果，以显示吊舱的特征尺寸在上述方向上的变化，为了更准确地解释结果，制作了一个图表，以显示DIC系统后续检查期间各个距离（位移）的变化。

根据测量结果，我们可以得出结构没有永久变形的结论，在获得的结构特征、尺寸变化、假定测量不确定度量级的较小值，并没有观察到这些维度的增长趋势。

它们具有由测量过程中的残余载荷引起的可变特性，因为在测量过程中加载系统没有与测试对象断开连接，与DIC并行进行的研究，通过使用激光传感器来确定被测吊舱底部和上部框架的位移水平。

结论

在进行的测试中，载荷可以通过安装在强度保持架下部的气缸产生，负载从执行器到吊舱底部框架的传递由C型梁、铰接和螺钉连接系统完成。

为了将载荷均匀地分布在吊舱底架的结构上，应准备一组C100梁（水平放置），将载荷通过M24螺栓传递到悬挂在吊舱下方的梁上。

执行器与通过上框架和底部框架固定吊舱的梁部分系统应位于一个轴上，紧固和加载部件的这种布置确保了结构拥有足够的刚度。

在吊舱中观察到的载荷最大值为23，544N，每500，000次负载循环，应引入一次技术中断，在此期间应进行目视检查（感官和内窥镜检查-以验证用于构建吊舱的螺钉连接）。

使用数字图像相关（DIC）进行研究是一种很好的做法，以检测单个吊舱元件的潜在永久变形/相对位移，默认情况下应每11，500个负载循环，执行1000次目视检查和DIC测试，即预测试。

使用摄影测量可以实现准确的数据，验证结构变形，由于吊舱的尺寸相对较大，在没有专用设备的情况下仔细监控结构会很麻烦。

测量点的分布允许对这些点之间的距离进行准确和可重复的测量，这有利于工作的进行，并增加接收的数据量，以分析结构的运行。

未来的研究应侧重于确定结构承载的最大载荷，并确定成形轮廓对其疲劳寿命的影响，未来的研究应包括机舱结构的研究和测试，同时也要考虑到ISO13796-3标准的条件。

如果你也喜欢我的文章，不妨点个“关注”吧！小生在此谢过了！

END