UltraDexGrasp: Aprendizaje de la Prehensión Diestra Universal para Robots Bimanuales con Datos Sintéticos

UltraDexGrasp: Learning Universal Dexterous Grasping for Bimanual Robots with Synthetic Data

March 5, 2026

Autores: Sizhe Yang, Yiman Xie, Zhixuan Liang, Yang Tian, Jia Zeng, Dahua Lin, Jiangmiao Pang

cs.AI

Resumen

La capacidad de agarrar es fundamental para que los robots interactúen con el mundo físico. Los seres humanos, equipados con dos manos, seleccionan autónomamente estrategias de agarre apropiadas basándose en la forma, el tamaño y el peso de los objetos, lo que permite un agarre robusto y una posterior manipulación. En contraste, la capacidad actual de agarre robótico sigue siendo limitada, particularmente en entornos multiestrategia. Aunque se han realizado esfuerzos sustanciales dirigidos al agarre con pinzas paralelas y con una sola mano, el agarre diestro para robots bimanuales sigue estando poco explorado, siendo los datos un cuello de botella principal. Lograr agarres físicamente plausibles y geométricamente conformes que puedan resistir fuerzas externas presenta desafíos significativos. Para abordar estos problemas, presentamos UltraDexGrasp, un marco para el agarre diestro universal con robots bimanuales. La pipeline de generación de datos propuesta integra la síntesis de agarre basada en optimización con la generación de demostraciones basada en planificación, produciendo trayectorias de alta calidad y diversas en múltiples estrategias de agarre. Con este marco, hemos creado UltraDexGrasp-20M, un conjunto de datos de agarre multiestrategia a gran escala que comprende 20 millones de frames en 1,000 objetos. Basándonos en UltraDexGrasp-20M, desarrollamos además una política de agarre simple pero efectiva que toma nubes de puntos como entrada, agrega características de la escena mediante atención unidireccional y predice comandos de control. Entrenada exclusivamente con datos sintéticos, esta política logra una transferencia robusta de simulación a realidad (sim-to-real) de tipo zero-shot y tiene éxito consistentemente con objetos nuevos de diversas formas, tamaños y pesos, alcanzando una tasa de éxito promedio del 81.2% en el agarre diestro universal en el mundo real. Para facilitar la investigación futura sobre el agarre con robots bimanuales, hemos hecho de código abierto la pipeline de generación de datos en https://github.com/InternRobotics/UltraDexGrasp.

English

Grasping is a fundamental capability for robots to interact with the physical world. Humans, equipped with two hands, autonomously select appropriate grasp strategies based on the shape, size, and weight of objects, enabling robust grasping and subsequent manipulation. In contrast, current robotic grasping remains limited, particularly in multi-strategy settings. Although substantial efforts have targeted parallel-gripper and single-hand grasping, dexterous grasping for bimanual robots remains underexplored, with data being a primary bottleneck. Achieving physically plausible and geometrically conforming grasps that can withstand external wrenches poses significant challenges. To address these issues, we introduce UltraDexGrasp, a framework for universal dexterous grasping with bimanual robots. The proposed data-generation pipeline integrates optimization-based grasp synthesis with planning-based demonstration generation, yielding high-quality and diverse trajectories across multiple grasp strategies. With this framework, we curate UltraDexGrasp-20M, a large-scale, multi-strategy grasp dataset comprising 20 million frames across 1,000 objects. Based on UltraDexGrasp-20M, we further develop a simple yet effective grasp policy that takes point clouds as input, aggregates scene features via unidirectional attention, and predicts control commands. Trained exclusively on synthetic data, the policy achieves robust zero-shot sim-to-real transfer and consistently succeeds on novel objects with varied shapes, sizes, and weights, attaining an average success rate of 81.2% in real-world universal dexterous grasping. To facilitate future research on grasping with bimanual robots, we open-source the data generation pipeline at https://github.com/InternRobotics/UltraDexGrasp.