在仿真软件中收集高质量的灵巧操作数据要求输入设备能够真实地捕捉人手运动的全部动作。MANUS手套，现在原生集成到英伟达NVIDIA Isaac实验室2.3版本中，以直接解决该需求。在演示中，操作员使用MANUS手套远程操作Sharpa Wave，这是NVIDIA Isaac Lab内的一个22自由度灵巧机械手，将自然的手部运动转化为毫米级保真度的实时机器人关节控制。
灵巧手操作中的数据质量瓶颈
模拟优先的机器人策略培训具有成本更低、迭代更快、部署管道更安全等优势。然而，经过培训的政策的质量受到演示数据质量的限制。对于需要高度协调的多手指控制的灵巧操作任务，大多数遥操作输入设备达不到要求。基于视觉的手部跟踪会带来遮挡误差和延迟，而低自由度控制器无法捕捉复杂操作任务所需的细微手指运动。
从人手到机器人的训练过程
MANUS手套旨在以毫米级的精度捕捉手部运动的全范围，在长时间的操作过程中保持稳定，没有漂移。NVIDIA Isaac Lab 2.3提供了原生支持，它将高保真手部跟踪数据直接传输到仿真中，消除了通常会降低数据收集管道速度的设置。
在用例中，操作员佩戴MANUS手套在Isaac Lab里遥控1:1拟人化的22自由度机器人Sharpa Wave。手部配置直接映射到机器人关节位置，以创建一个更符合人类运动学的远程操作界面。
录制的数据被直接输入到Isaac Lab Mimic进行增强和等比例缩放，然后输入到模仿学习管道，这些过程都在将优先在模拟中进行，然后再进行实际部署。
操纵策略所依赖的精度
MANUS数据手套能实时捕捉手掌和每一根手指细微动作，提供灵巧操作研究所需的精确、稳定、无遮挡的手部跟踪数据，可原生集成到NVIDIA Isaac实验室工作流程中。
