SimToolReal: Una Política Centrada en Objetos para la Manipulación Diestra de Herramientas con Capacidad Zero-Shot

SimToolReal: An Object-Centric Policy for Zero-Shot Dexterous Tool Manipulation

February 18, 2026

Autores: Kushal Kedia, Tyler Ga Wei Lum, Jeannette Bohg, C. Karen Liu

cs.AI

Resumen

La capacidad de manipular herramientas amplía significativamente el conjunto de tareas que un robot puede realizar. Sin embargo, la manipulación de herramientas representa una clase compleja de destreza, que requiere agarrar objetos delgados, rotaciones del objeto en la mano e interacciones con fuerza. Dado que recopilar datos de teleoperación para estos comportamientos es un desafío, el aprendizaje por refuerzo (RL) de simulación a realidad (sim-to-real) es una alternativa prometedora. No obstante, los enfoques anteriores suelen requerir un esfuerzo de ingeniería sustancial para modelar objetos y ajustar funciones de recompensa para cada tarea. En este trabajo, proponemos SimToolReal, dando un paso hacia la generalización de políticas de RL sim-to-real para la manipulación de herramientas. En lugar de centrarnos en un único objeto y tarea, generamos proceduralmente una amplia variedad de primitivas de objetos similares a herramientas en simulación y entrenamos una única política de RL con el objetivo universal de manipular cada objeto hacia poses objetivo aleatorias. Este enfoque permite a SimToolReal realizar una manipulación diestra general de herramientas en el momento de la prueba sin ningún entrenamiento específico de objeto o tarea. Demostramos que SimToolReal supera a los métodos anteriores de retargeting y de agarre fijo en un 37%, igualando al mismo tiempo el rendimiento de políticas de RL especializadas entrenadas en objetos y tareas objetivo específicos. Finalmente, mostramos que SimToolReal generaliza a través de un conjunto diverso de herramientas cotidianas, logrando un fuerte rendimiento zero-shot en más de 120 pruebas en el mundo real que abarcan 24 tareas, 12 instancias de objetos y 6 categorías de herramientas.

English

The ability to manipulate tools significantly expands the set of tasks a robot can perform. Yet, tool manipulation represents a challenging class of dexterity, requiring grasping thin objects, in-hand object rotations, and forceful interactions. Since collecting teleoperation data for these behaviors is challenging, sim-to-real reinforcement learning (RL) is a promising alternative. However, prior approaches typically require substantial engineering effort to model objects and tune reward functions for each task. In this work, we propose SimToolReal, taking a step towards generalizing sim-to-real RL policies for tool manipulation. Instead of focusing on a single object and task, we procedurally generate a large variety of tool-like object primitives in simulation and train a single RL policy with the universal goal of manipulating each object to random goal poses. This approach enables SimToolReal to perform general dexterous tool manipulation at test-time without any object or task-specific training. We demonstrate that SimToolReal outperforms prior retargeting and fixed-grasp methods by 37% while matching the performance of specialist RL policies trained on specific target objects and tasks. Finally, we show that SimToolReal generalizes across a diverse set of everyday tools, achieving strong zero-shot performance over 120 real-world rollouts spanning 24 tasks, 12 object instances, and 6 tool categories.