任杰骥_上海交大_2024研究进展_3DVChina2025_视触觉_upload_pdf.pdf

1、面向智能机器人灵巧操作的视触觉传感器设计与应用 任杰骥 助理研究员 机械与动力工程学院机器人研究所机械与动力工程学院机器人研究所 机械系统机械系统与振动国家重点实验室与振动国家重点实验室 20252025年年0404月月1111日日 https:/ China 3DV 2025 青年青年学者论坛学者论坛 1 1 触觉传感器：机器人智能感知的全新模态 触觉感知是机器人与真实世界交互的重要手段，与环境探索、本体感知、认知识别、非结构化抓取、灵巧操作等复杂具身智能任务息息相关。类人触觉感知 SciRobotics.aaz9239 SciRobotics.abl7344 触觉传感器：机器人与具身智能大

2、规模应用落地的必要条件！生物触觉感觉 操作 探索 响应 2 2 触觉传感器：具身感知能力的拓展 触觉传感器可为机器人提供环境与交互对象的几何、材质、软硬、温度等内蕴特征，及交互过程中力分布、形变、滑移、振动、位姿等动态信息。触觉传感器：机器人实现探索、抓取、操作等各项通用任务的重要感知手段 环境探索 表面形状、材质、摩擦、软硬 力估计、力分布、接触点形貌、滑移、运动、位姿 目标几何、形状、位姿、表面形状、三维状态、类别感知 灵巧抓取 精细操作 3 3 触觉传感器：如何实现类人手的高性能触觉传感器？高空间 分辨率 高时间 分辨率 高灵敏度 快速响应 柔性化 顺应性 几何 受力 振动 材质 动力学

3、 Subramanian Sundaram How to improve robotic touch Science 2020 FA I FA II SA I SA II 高效神经编码 反馈 滑移 4 4 触觉传感器：机器人感知的全新模态 触觉传感器主要可分为电学传感、视觉传感和其他物理机理的传感器。其中视触觉传感器具有空间分辨率高、信号稳定性强等优势。电学传感 视触觉传感 多物理机制传感 高速感知、技术成熟 稀疏传感、电路繁杂 高密度传感、空间一致性 结构简单、算法成熟 机制新颖、模态丰富 稳定不足、解析复杂 5 5 视触觉传感器：高密度、大范围、多模态触觉感知 视触觉传感器利用相机捕捉柔性

4、材料层与目标接触过程中的三维形变，通过视觉与力学算法重建出接触面的形貌与力分布信息。视触觉传感器的基本测量原理 视触觉传感器的几何测量结果 视触觉感知重建结果及其力分布信息 GelSlim3.0 Taylor et al.,ICRA 2022 具有感知密度高、稳定可靠、算法成熟、成本低廉、易于集成和小型化等优势。相机 LEDs 照明 柔性感知层 透明支撑层 目标物体 受压形变 视场 Ft 6 6 视触觉传感器：研究背景与发展路径 小型化小型化 为机器人进行环境感知与复杂操作提供了高密度触觉信息(几何、受力、运动)多模态多模态 柔性化柔性化 JL.Zhao et al.IROS24 I.Tayl

5、er et al.ICRA22 Rui Li et al.IROS14 集成化集成化 SQ Liu et al.RoboSoft23 7 7 视触觉传感器：研究背景与发展路径 缺乏统一的结构与模态 发展历程 视触觉传感器 8 8 研究进展一：模块化设计的小型视触觉传感模块 一体化设计的小型视触觉传感器模组，优化了照明光路、增加了稠密标注点、集成了采集控制电路、制定了标准化的标定流程。具有空间分辨率高、输出模态丰富、使用便捷、接线简单等优势。ref:/ 侧向LED Marker层 Camera Board Attiny85 实物图 形状编码稳定+细节呈现清晰 结构原理图 9 9 研究进展一：模块

6、化设计的小型视触觉传感模块 视触觉传感器可为精细操作提供目标丰富的几何与位姿信息，实现稳定可靠的精细操作（穿针引线）。Tactile based Needle CoRL2023 Website：https:/ 1010 研究进展一：模块化设计的小型视触觉传感模块 TactAR 系统通过增强现实实现实时触觉反馈与稳定数据采集，结合 RDP 算法实现复杂触觉操控的高效学习，显著提升机器人精细操作性能。RSS2025 Website：https:/reactive-diffusion-policy.github.io/1111 研究进展一：模块化设计的小型视触觉传感模块 1212 Ren,J.,Du