SimToolReal : Une politique centrée sur les objets pour la manipulation dextre d'outils en zéro-shot

SimToolReal: An Object-Centric Policy for Zero-Shot Dexterous Tool Manipulation

February 18, 2026

papers.authors: Kushal Kedia, Tyler Ga Wei Lum, Jeannette Bohg, C. Karen Liu

cs.AI

papers.abstract

La capacité à manipuler des outils élargit considérablement l'éventail des tâches qu'un robot peut accomplir. Pourtant, la manipulation d'outils représente une classe exigeante de dextérité, nécessitant la préhension d'objets minces, des rotations d'objets en main et des interactions avec application de force. Étant donné que la collecte de données par téléopération pour ces comportements est difficile, l'apprentissage par renforcement (RL) de la simulation à la réalité (sim-to-real) constitue une alternative prometteuse. Cependant, les approches antérieures nécessitent généralement un effort d'ingénierie substantiel pour modéliser les objets et ajuster les fonctions de récompense pour chaque tâche. Dans ce travail, nous proposons SimToolReal, faisant un pas vers la généralisation des politiques RL sim-to-real pour la manipulation d'outils. Au lieu de se concentrer sur un seul objet et une seule tâche, nous générons de manière procédurale une grande variété de primitives d'objets de type outil en simulation et entraînons une politique RL unique avec l'objectif universel de manipuler chaque objet vers des poses cibles aléatoires. Cette approche permet à SimToolReal d'effectuer une manipulation dextre générale d'outils lors des tests sans aucun entraînement spécifique à un objet ou à une tâche. Nous démontrons que SimToolReal surpasse de 37 % les méthodes antérieures de retargeting et de préhension fixe, tout en égalant les performances des politiques RL spécialisées entraînées sur des objets cibles et des tâches spécifiques. Enfin, nous montrons que SimToolReal généralise ses capacités à un ensemble varié d'outils du quotidien, obtenant de solides performances zero-shot sur plus de 120 déploiements en conditions réelles couvrant 24 tâches, 12 instances d'objets et 6 catégories d'outils.

English

The ability to manipulate tools significantly expands the set of tasks a robot can perform. Yet, tool manipulation represents a challenging class of dexterity, requiring grasping thin objects, in-hand object rotations, and forceful interactions. Since collecting teleoperation data for these behaviors is challenging, sim-to-real reinforcement learning (RL) is a promising alternative. However, prior approaches typically require substantial engineering effort to model objects and tune reward functions for each task. In this work, we propose SimToolReal, taking a step towards generalizing sim-to-real RL policies for tool manipulation. Instead of focusing on a single object and task, we procedurally generate a large variety of tool-like object primitives in simulation and train a single RL policy with the universal goal of manipulating each object to random goal poses. This approach enables SimToolReal to perform general dexterous tool manipulation at test-time without any object or task-specific training. We demonstrate that SimToolReal outperforms prior retargeting and fixed-grasp methods by 37% while matching the performance of specialist RL policies trained on specific target objects and tasks. Finally, we show that SimToolReal generalizes across a diverse set of everyday tools, achieving strong zero-shot performance over 120 real-world rollouts spanning 24 tasks, 12 object instances, and 6 tool categories.