SimToolReal: Eine objektzentrierte Strategie für nullstufige geschickte Werkzeugmanipulation
SimToolReal: An Object-Centric Policy for Zero-Shot Dexterous Tool Manipulation
February 18, 2026
papers.authors: Kushal Kedia, Tyler Ga Wei Lum, Jeannette Bohg, C. Karen Liu
cs.AI
papers.abstract
Die Fähigkeit, Werkzeuge zu manipulieren, erweitert das Aufgabenspektrum eines Roboters erheblich. Dennoch stellt die Werkzeugmanipulation eine anspruchsvolle Form der Geschicklichkeit dar, die das Greifen dünner Objekte, Drehbewegungen in der Hand und kraftvolle Interaktionen erfordert. Da die Erfassung von Teleoperationsdaten für diese Verhaltensweisen schwierig ist, stellt sim-to-real Reinforcement Learning (RL) eine vielversprechende Alternative dar. Bisherige Ansätze erfordern jedoch in der Regel erheblichen technischen Aufwand, um Objekte zu modellieren und Belohnungsfunktionen für jede Aufgabe anzupassen. In dieser Arbeit schlagen wir SimToolReal vor, einen Schritt zur Verallgemeinerung von sim-to-real RL-Policies für die Werkzeugmanipulation. Anstatt uns auf ein einzelnes Objekt und eine einzelne Aufgabe zu konzentrieren, generieren wir prozedural eine große Vielfalt werkzeugähnlicher Objektprimitive in der Simulation und trainieren eine einzige RL-Policy mit dem universellen Ziel, jedes Objekt in zufällige Zielpose zu manipulieren. Dieser Ansatz ermöglicht es SimToolReal, zur Testzeit allgemeine geschickte Werkzeugmanipulation durchzuführen, ohne aufgaben- oder objektspezifisches Training. Wir zeigen, dass SimToolReal bisherige Retargeting- und Fixed-Grasp-Methoden um 37 % übertrifft und dabei die Leistung von spezialisierten, für bestimmte Zielobjekte und -aufgaben trainierten RL-Policies erreicht. Abschließend demonstrieren wir, dass SimToolReal über eine Vielzahl alltäglicher Werkzeuge generalisiert und eine hohe Zero-Shot-Leistung in über 120 realen Durchläufen über 24 Aufgaben, 12 Objektinstanzen und 6 Werkzeugkategorien erzielt.
English
The ability to manipulate tools significantly expands the set of tasks a robot can perform. Yet, tool manipulation represents a challenging class of dexterity, requiring grasping thin objects, in-hand object rotations, and forceful interactions. Since collecting teleoperation data for these behaviors is challenging, sim-to-real reinforcement learning (RL) is a promising alternative. However, prior approaches typically require substantial engineering effort to model objects and tune reward functions for each task. In this work, we propose SimToolReal, taking a step towards generalizing sim-to-real RL policies for tool manipulation. Instead of focusing on a single object and task, we procedurally generate a large variety of tool-like object primitives in simulation and train a single RL policy with the universal goal of manipulating each object to random goal poses. This approach enables SimToolReal to perform general dexterous tool manipulation at test-time without any object or task-specific training. We demonstrate that SimToolReal outperforms prior retargeting and fixed-grasp methods by 37% while matching the performance of specialist RL policies trained on specific target objects and tasks. Finally, we show that SimToolReal generalizes across a diverse set of everyday tools, achieving strong zero-shot performance over 120 real-world rollouts spanning 24 tasks, 12 object instances, and 6 tool categories.