DexGraspVLA: Un Marco de Visión-Lenguaje-Acción hacia la Manipulación Diestra Generalizada

DexGraspVLA: A Vision-Language-Action Framework Towards General Dexterous Grasping

February 28, 2025

Autores: Yifan Zhong, Xuchuan Huang, Ruochong Li, Ceyao Zhang, Yitao Liang, Yaodong Yang, Yuanpei Chen

cs.AI

Resumen

El agarre diestro sigue siendo un problema fundamental pero desafiante en robótica. Un robot de propósito general debe ser capaz de agarrar objetos diversos en escenarios arbitrarios. Sin embargo, la investigación existente generalmente se basa en suposiciones específicas, como entornos de un solo objeto o limitados, lo que lleva a una generalización restringida. Nuestra solución es DexGraspVLA, un marco jerárquico que utiliza un modelo de Visión-Lenguaje preentrenado como planificador de tareas de alto nivel y aprende una política basada en difusión como controlador de acciones de bajo nivel. La clave radica en transformar iterativamente diversas entradas de lenguaje y visuales en representaciones invariantes al dominio, donde el aprendizaje por imitación puede aplicarse efectivamente debido a la mitigación del cambio de dominio. Así, permite una generalización robusta en una amplia gama de escenarios del mundo real. Notablemente, nuestro método alcanza una tasa de éxito del 90+% bajo miles de combinaciones no vistas de objetos, iluminación y fondos en un entorno de "zero-shot". El análisis empírico confirma además la consistencia del comportamiento interno del modelo a través de variaciones ambientales, validando así nuestro diseño y explicando su rendimiento de generalización. Esperamos que nuestro trabajo sea un paso adelante en la consecución del agarre diestro general. Nuestra demostración y código se pueden encontrar en https://dexgraspvla.github.io/.

English

Dexterous grasping remains a fundamental yet challenging problem in robotics. A general-purpose robot must be capable of grasping diverse objects in arbitrary scenarios. However, existing research typically relies on specific assumptions, such as single-object settings or limited environments, leading to constrained generalization. Our solution is DexGraspVLA, a hierarchical framework that utilizes a pre-trained Vision-Language model as the high-level task planner and learns a diffusion-based policy as the low-level Action controller. The key insight lies in iteratively transforming diverse language and visual inputs into domain-invariant representations, where imitation learning can be effectively applied due to the alleviation of domain shift. Thus, it enables robust generalization across a wide range of real-world scenarios. Notably, our method achieves a 90+% success rate under thousands of unseen object, lighting, and background combinations in a ``zero-shot'' environment. Empirical analysis further confirms the consistency of internal model behavior across environmental variations, thereby validating our design and explaining its generalization performance. We hope our work can be a step forward in achieving general dexterous grasping. Our demo and code can be found at https://dexgraspvla.github.io/.