SimToolReal: Una politica incentrata sugli oggetti per la manipolazione abile di utensili in contesto zero-shot

SimToolReal: An Object-Centric Policy for Zero-Shot Dexterous Tool Manipulation

February 18, 2026

Autori: Kushal Kedia, Tyler Ga Wei Lum, Jeannette Bohg, C. Karen Liu

cs.AI

Abstract

La capacità di manipolare utensili espande significativamente l'insieme di compiti che un robot può svolgere. Tuttavia, la manipolazione di utensili rappresenta una classe impegnativa di destrezza, che richiede la presa di oggetti sottili, rotazioni dell'oggetto in mano e interazioni forzate. Poiché la raccolta di dati di teleoperazione per questi comportamenti è complessa, l'apprendimento per rinforzo (RL) da simulazione a realtà (sim-to-real) è un'alternativa promettente. Tuttavia, gli approcci precedenti richiedono tipicamente uno sforzo ingegneristico sostanziale per modellare gli oggetti e ottimizzare le funzioni di ricompensa per ogni compito. In questo lavoro, proponiamo SimToolReal, compiendo un passo verso la generalizzazione delle politiche RL sim-to-real per la manipolazione di utensili. Invece di concentrarci su un singolo oggetto e compito, generiamo proceduralmente un'ampia varietà di primitive di oggetti simili a utensili in simulazione e addestriamo una singola politica RL con l'obiettivo universale di manipolare ogni oggetto verso pose obiettivo casuali. Questo approccio consente a SimToolReal di eseguire una manipolazione dextra generale degli utensili durante il test senza alcun addestramento specifico per oggetto o compito. Dimostriamo che SimToolReal supera i metodi precedenti di retargeting e presa fissa del 37%, eguagliando le prestazioni delle politiche RL specializzate addestrate su oggetti e compiti target specifici. Infine, mostriamo che SimToolReal generalizza su un insieme variegato di utensili comuni, raggiungendo solide prestazioni zero-shot in oltre 120 rollout nel mondo reale, coprendo 24 compiti, 12 istanze di oggetti e 6 categorie di utensili.

English

The ability to manipulate tools significantly expands the set of tasks a robot can perform. Yet, tool manipulation represents a challenging class of dexterity, requiring grasping thin objects, in-hand object rotations, and forceful interactions. Since collecting teleoperation data for these behaviors is challenging, sim-to-real reinforcement learning (RL) is a promising alternative. However, prior approaches typically require substantial engineering effort to model objects and tune reward functions for each task. In this work, we propose SimToolReal, taking a step towards generalizing sim-to-real RL policies for tool manipulation. Instead of focusing on a single object and task, we procedurally generate a large variety of tool-like object primitives in simulation and train a single RL policy with the universal goal of manipulating each object to random goal poses. This approach enables SimToolReal to perform general dexterous tool manipulation at test-time without any object or task-specific training. We demonstrate that SimToolReal outperforms prior retargeting and fixed-grasp methods by 37% while matching the performance of specialist RL policies trained on specific target objects and tasks. Finally, we show that SimToolReal generalizes across a diverse set of everyday tools, achieving strong zero-shot performance over 120 real-world rollouts spanning 24 tasks, 12 object instances, and 6 tool categories.