SimToolReal: Een objectgerichte aanpak voor zero-shot behendig gereedschpsmanipulatie

SimToolReal: An Object-Centric Policy for Zero-Shot Dexterous Tool Manipulation

February 18, 2026

Auteurs: Kushal Kedia, Tyler Ga Wei Lum, Jeannette Bohg, C. Karen Liu

cs.AI

Samenvatting

Het vermogen om gereedschappen te manipuleren vergroot de reeks taken die een robot kan uitvoeren aanzienlijk. Toch vormt gereedschapsmanipulatie een uitdagende klasse van behendigheid, waarbij het grijpen van dunne objecten, rotaties van objecten in de hand en krachtige interacties vereist zijn. Aangezien het verzamelen van teleoperatiegegevens voor dit gedrag moeilijk is, is sim-naar-real reinforcement learning (RL) een veelbelovend alternatief. Eerdere benaderingen vereisen echter doorgaans aanzienlijke technische inspanning om objecten te modelleren en beloningsfuncties voor elke taak af te stemmen. In dit werk stellen we SimToolReal voor, waarmee we een stap zetten naar het generaliseren van sim-naar-real RL-beleid voor gereedschapsmanipulatie. In plaats van ons op een enkel object en taak te richten, genereren we procedureel een grote verscheidenheid aan gereedschapsachtige objectprimitieven in simulatie en trainen we één RL-beleid met het universele doel om elk object naar willekeurige doelposities te manipuleren. Deze aanpak stelt SimToolReal in staat om algemene behendige gereedschapsmanipulatie uit te voeren tijdens tests zonder enige object- of taakspecifieke training. We tonen aan dat SimToolReal eerdere retargeting- en fixed-grasp-methoden met 37% overtreft, terwijl het de prestaties evenaart van gespecialiseerde RL-beleidsregels die zijn getraind op specifieke doelobjecten en taken. Ten slotte laten we zien dat SimToolReal generaliseert over een diverse set alledaagse gereedschappen, met sterke zero-shot prestaties in meer dan 120 real-world tests, verspreid over 24 taken, 12 objectinstanties en 6 gereedschapscategorieën.

English

The ability to manipulate tools significantly expands the set of tasks a robot can perform. Yet, tool manipulation represents a challenging class of dexterity, requiring grasping thin objects, in-hand object rotations, and forceful interactions. Since collecting teleoperation data for these behaviors is challenging, sim-to-real reinforcement learning (RL) is a promising alternative. However, prior approaches typically require substantial engineering effort to model objects and tune reward functions for each task. In this work, we propose SimToolReal, taking a step towards generalizing sim-to-real RL policies for tool manipulation. Instead of focusing on a single object and task, we procedurally generate a large variety of tool-like object primitives in simulation and train a single RL policy with the universal goal of manipulating each object to random goal poses. This approach enables SimToolReal to perform general dexterous tool manipulation at test-time without any object or task-specific training. We demonstrate that SimToolReal outperforms prior retargeting and fixed-grasp methods by 37% while matching the performance of specialist RL policies trained on specific target objects and tasks. Finally, we show that SimToolReal generalizes across a diverse set of everyday tools, achieving strong zero-shot performance over 120 real-world rollouts spanning 24 tasks, 12 object instances, and 6 tool categories.