UltraDexGrasp: Erlernen universeller geschickter Greiffähigkeiten für bimanuelle Roboter mit synthetischen Daten

UltraDexGrasp: Learning Universal Dexterous Grasping for Bimanual Robots with Synthetic Data

March 5, 2026

Autoren: Sizhe Yang, Yiman Xie, Zhixuan Liang, Yang Tian, Jia Zeng, Dahua Lin, Jiangmiao Pang

cs.AI

Zusammenfassung

Greifen ist eine grundlegende Fähigkeit für Roboter, um mit der physischen Welt zu interagieren. Menschen, die mit zwei Händen ausgestattet sind, wählen autonom geeignete Greifstrategien basierend auf Form, Größe und Gewicht von Objekten, was ein robustes Greifen und anschließende Manipulation ermöglicht. Im Gegensatz dazu sind aktuelle robotische Greifsysteme nach wie vor eingeschränkt, insbesondere in Mehrstrategie-Umgebungen. Obwohl erhebliche Anstrengungen auf das Greifen mit Parallelgreifern und Einhand-Greifsystemen abzielten, bleibt das geschickte Greifen für bimanuelle Roboter untererforscht, wobei Daten ein primärer Engpass sind. Die Realisierung von physikalisch plausiblen und geometrisch anpassungsfähigen Griffen, die externen Kräften und Momenten standhalten können, stellt erhebliche Herausforderungen dar. Um diese Probleme zu adressieren, führen wir UltraDexGrasp ein, ein Framework für universelles geschicktes Greifen mit bimanuellen Robotern. Die vorgeschlagene Daten-Generierungs-Pipeline integriert optimierungsbasierte Griff-Synthese mit planungsbasierter Demonstrationsgenerierung und erzeugt hochwertige und diverse Trajektorien über mehrere Greifstrategien hinweg. Mit diesem Framework kuratieren wir UltraDexGrasp-20M, einen großen, mehrstrategischen Greifdatensatz, der 20 Millionen Frames über 1.000 Objekte umfasst. Basierend auf UltraDexGrasp-20M entwickeln wir weiter eine einfache, aber effektive Greifpolitik, die Punktwolken als Eingabe verwendet, Szenenmerkmale über unidirektionale Attention aggregiert und Steuerbefehle vorhersagt. Die Politik, die ausschließlich auf synthetischen Daten trainiert wurde, erreicht einen robusten Zero-Shot Sim-to-Real-Transfer und ist bei neuartigen Objekten mit unterschiedlichen Formen, Größen und Gewichten durchgängig erfolgreich, was eine durchschnittliche Erfolgsrate von 81,2 % beim universellen geschickten Greifen in der realen Welt erreicht. Um zukünftige Forschung zum Greifen mit bimanuellen Robotern zu fördern, stellen wir die Daten-Generierungs-Pipeline unter https://github.com/InternRobotics/UltraDexGrasp als Open Source zur Verfügung.

English

Grasping is a fundamental capability for robots to interact with the physical world. Humans, equipped with two hands, autonomously select appropriate grasp strategies based on the shape, size, and weight of objects, enabling robust grasping and subsequent manipulation. In contrast, current robotic grasping remains limited, particularly in multi-strategy settings. Although substantial efforts have targeted parallel-gripper and single-hand grasping, dexterous grasping for bimanual robots remains underexplored, with data being a primary bottleneck. Achieving physically plausible and geometrically conforming grasps that can withstand external wrenches poses significant challenges. To address these issues, we introduce UltraDexGrasp, a framework for universal dexterous grasping with bimanual robots. The proposed data-generation pipeline integrates optimization-based grasp synthesis with planning-based demonstration generation, yielding high-quality and diverse trajectories across multiple grasp strategies. With this framework, we curate UltraDexGrasp-20M, a large-scale, multi-strategy grasp dataset comprising 20 million frames across 1,000 objects. Based on UltraDexGrasp-20M, we further develop a simple yet effective grasp policy that takes point clouds as input, aggregates scene features via unidirectional attention, and predicts control commands. Trained exclusively on synthetic data, the policy achieves robust zero-shot sim-to-real transfer and consistently succeeds on novel objects with varied shapes, sizes, and weights, attaining an average success rate of 81.2% in real-world universal dexterous grasping. To facilitate future research on grasping with bimanual robots, we open-source the data generation pipeline at https://github.com/InternRobotics/UltraDexGrasp.