UltraDexGrasp: Обучение универсальному точному захвату для двуручных роботов с использованием синтетических данных

UltraDexGrasp: Learning Universal Dexterous Grasping for Bimanual Robots with Synthetic Data

March 5, 2026

Авторы: Sizhe Yang, Yiman Xie, Zhixuan Liang, Yang Tian, Jia Zeng, Dahua Lin, Jiangmiao Pang

cs.AI

Аннотация

Захват объектов является фундаментальной способностью роботов для взаимодействия с физическим миром. Люди, обладая двумя руками, автономно выбирают подходящие стратегии захвата на основе формы, размера и веса объектов, обеспечивая надежный захват и последующие манипуляции. В отличие от этого, современные роботизированные захваты остаются ограниченными, особенно в условиях многовариантности стратегий. Хотя значительные усилия были направлены на захваты параллельными захватами и одной рукой, ловкий захват для двуручных роботов остается малоизученным, причем данные являются основным узким местом. Достижение физически правдоподобных и геометрически соответствующих захватов, способных выдерживать внешние силовые воздействия, представляет значительные трудности. Для решения этих проблем мы представляем UltraDexGrasp — фреймворк для универсального ловкого захвата двуручными роботами. Предлагаемый конвейер генерации данных интегрирует синтез захватов на основе оптимизации с генерацией демонстраций на основе планирования, обеспечивая создание высококачественных и разнообразных траекторий для множества стратегий захвата. С помощью этого фреймворка мы создали UltraDexGrasp-20M — крупномасштабный многовариантный набор данных о захватах, содержащий 20 миллионов кадров для 1000 объектов. На основе UltraDexGrasp-20M мы дополнительно разработали простую, но эффективную политику захвата, которая принимает в качестве входных данных облака точек, агрегирует признаки сцены с помощью однонаправленного внимания и предсказывает управляющие команды. Обученная исключительно на синтетических данных, политика демонстрирует надежный zero-shot перенос из симуляции в реальность и стабильно успешно работает с новыми объектами различной формы, размера и веса, достигая среднего показателя успешности 81,2% в реальных условиях универсального ловкого захвата. Для содействия будущим исследованиям в области захватов двуручными роботами мы открываем исходный код конвейера генерации данных по адресу https://github.com/InternRobotics/UltraDexGrasp.

English

Grasping is a fundamental capability for robots to interact with the physical world. Humans, equipped with two hands, autonomously select appropriate grasp strategies based on the shape, size, and weight of objects, enabling robust grasping and subsequent manipulation. In contrast, current robotic grasping remains limited, particularly in multi-strategy settings. Although substantial efforts have targeted parallel-gripper and single-hand grasping, dexterous grasping for bimanual robots remains underexplored, with data being a primary bottleneck. Achieving physically plausible and geometrically conforming grasps that can withstand external wrenches poses significant challenges. To address these issues, we introduce UltraDexGrasp, a framework for universal dexterous grasping with bimanual robots. The proposed data-generation pipeline integrates optimization-based grasp synthesis with planning-based demonstration generation, yielding high-quality and diverse trajectories across multiple grasp strategies. With this framework, we curate UltraDexGrasp-20M, a large-scale, multi-strategy grasp dataset comprising 20 million frames across 1,000 objects. Based on UltraDexGrasp-20M, we further develop a simple yet effective grasp policy that takes point clouds as input, aggregates scene features via unidirectional attention, and predicts control commands. Trained exclusively on synthetic data, the policy achieves robust zero-shot sim-to-real transfer and consistently succeeds on novel objects with varied shapes, sizes, and weights, attaining an average success rate of 81.2% in real-world universal dexterous grasping. To facilitate future research on grasping with bimanual robots, we open-source the data generation pipeline at https://github.com/InternRobotics/UltraDexGrasp.