DexGraspVLA : Un cadre vision-langage-action pour une préhension dextre généralisée

DexGraspVLA: A Vision-Language-Action Framework Towards General Dexterous Grasping

February 28, 2025

Auteurs: Yifan Zhong, Xuchuan Huang, Ruochong Li, Ceyao Zhang, Yitao Liang, Yaodong Yang, Yuanpei Chen

cs.AI

Résumé

La préhension habile demeure un problème fondamental mais complexe en robotique. Un robot polyvalent doit être capable de saisir des objets variés dans des scénarios arbitraires. Cependant, les recherches existantes reposent généralement sur des hypothèses spécifiques, telles que des configurations à un seul objet ou des environnements limités, ce qui entraîne une généralisation restreinte. Notre solution est DexGraspVLA, un cadre hiérarchique qui utilise un modèle Vision-Langage pré-entraîné comme planificateur de tâches de haut niveau et apprend une politique basée sur la diffusion comme contrôleur d'actions de bas niveau. L'idée clé réside dans la transformation itérative d'entrées visuelles et langagières variées en représentations invariantes au domaine, où l'apprentissage par imitation peut être efficacement appliqué grâce à l'atténuation du décalage de domaine. Ainsi, cela permet une généralisation robuste dans un large éventail de scénarios réels. Notamment, notre méthode atteint un taux de réussite supérieur à 90 % pour des milliers de combinaisons inédites d'objets, d'éclairages et d'arrière-plans dans un environnement « zero-shot ». Une analyse empirique confirme en outre la cohérence du comportement interne du modèle face aux variations environnementales, validant ainsi notre conception et expliquant ses performances de généralisation. Nous espérons que notre travail constitue une avancée vers la réalisation d'une préhension habile généralisée. Notre démonstration et notre code sont disponibles à l'adresse https://dexgraspvla.github.io/.

English

Dexterous grasping remains a fundamental yet challenging problem in robotics. A general-purpose robot must be capable of grasping diverse objects in arbitrary scenarios. However, existing research typically relies on specific assumptions, such as single-object settings or limited environments, leading to constrained generalization. Our solution is DexGraspVLA, a hierarchical framework that utilizes a pre-trained Vision-Language model as the high-level task planner and learns a diffusion-based policy as the low-level Action controller. The key insight lies in iteratively transforming diverse language and visual inputs into domain-invariant representations, where imitation learning can be effectively applied due to the alleviation of domain shift. Thus, it enables robust generalization across a wide range of real-world scenarios. Notably, our method achieves a 90+% success rate under thousands of unseen object, lighting, and background combinations in a ``zero-shot'' environment. Empirical analysis further confirms the consistency of internal model behavior across environmental variations, thereby validating our design and explaining its generalization performance. We hope our work can be a step forward in achieving general dexterous grasping. Our demo and code can be found at https://dexgraspvla.github.io/.