DexGraspVLA: Ein Vision-Sprache-Handlung-Framework für allgemeines geschicktes Greifen

DexGraspVLA: A Vision-Language-Action Framework Towards General Dexterous Grasping

February 28, 2025

Autoren: Yifan Zhong, Xuchuan Huang, Ruochong Li, Ceyao Zhang, Yitao Liang, Yaodong Yang, Yuanpei Chen

cs.AI

Zusammenfassung

Geschicktes Greifen bleibt ein grundlegendes, aber herausforderndes Problem in der Robotik. Ein universell einsetzbarer Roboter muss in der Lage sein, verschiedene Objekte in beliebigen Szenarien zu greifen. Bisherige Forschung stützt sich jedoch typischerweise auf spezifische Annahmen, wie Einzelobjekt-Szenarien oder begrenzte Umgebungen, was zu eingeschränkter Generalisierung führt. Unsere Lösung ist DexGraspVLA, ein hierarchisches Framework, das ein vortrainiertes Vision-Language-Modell als übergeordneten Aufgabenplaner nutzt und eine diffusionsbasierte Policy als untergeordneten Aktionscontroller lernt. Der Schlüssel liegt in der iterativen Transformation vielfältiger Sprach- und visueller Eingaben in domäneninvariante Repräsentationen, bei denen Imitationslernen aufgrund der Reduzierung von Domänenverschiebungen effektiv angewendet werden kann. Dadurch ermöglicht es eine robuste Generalisierung über eine breite Palette realer Szenarien hinweg. Bemerkenswerterweise erreicht unsere Methode eine Erfolgsrate von über 90 % bei Tausenden von ungesehenen Objekt-, Beleuchtungs- und Hintergrundkombinationen in einer „Zero-Shot“-Umgebung. Empirische Analysen bestätigen weiterhin die Konsistenz des internen Modellverhaltens über Umweltvariationen hinweg, wodurch unser Design validiert und seine Generalisierungsleistung erklärt wird. Wir hoffen, dass unsere Arbeit ein Schritt vorwärts in Richtung allgemeinen geschickten Greifens sein kann. Unsere Demo und der Code sind unter https://dexgraspvla.github.io/ verfügbar.

English

Dexterous grasping remains a fundamental yet challenging problem in robotics. A general-purpose robot must be capable of grasping diverse objects in arbitrary scenarios. However, existing research typically relies on specific assumptions, such as single-object settings or limited environments, leading to constrained generalization. Our solution is DexGraspVLA, a hierarchical framework that utilizes a pre-trained Vision-Language model as the high-level task planner and learns a diffusion-based policy as the low-level Action controller. The key insight lies in iteratively transforming diverse language and visual inputs into domain-invariant representations, where imitation learning can be effectively applied due to the alleviation of domain shift. Thus, it enables robust generalization across a wide range of real-world scenarios. Notably, our method achieves a 90+% success rate under thousands of unseen object, lighting, and background combinations in a ``zero-shot'' environment. Empirical analysis further confirms the consistency of internal model behavior across environmental variations, thereby validating our design and explaining its generalization performance. We hope our work can be a step forward in achieving general dexterous grasping. Our demo and code can be found at https://dexgraspvla.github.io/.