3D HAMSTER: Verknüpfung von Planung und Steuerung in hierarchischen Vision-Language-Action-Modellen durch 3D-Trajektorienführung

Zusammenfassung

Hierarchische Vision-Language-Action (VLA)-Modelle entkoppeln die Planung auf hoher Ebene von der Steuerung auf niedriger Ebene, um die Generalisierung bei Robotermanipulationen zu verbessern. Neuere Arbeiten in diesem Paradigma nutzen von einem Vision-Language-Modell (VLM) vorhergesagte 2D-Endeffektor-Trajektorien als explizite Anleitung für eine nachgelagerte Policy. Allerdings operieren modernste Low-Level-Policies in einem 3D-metrischen Raum auf Punktwolken. Die Zuführung von 2D-Führung ohne Tiefeninformation zwingt dazu, jedem Wegpunkt die Tiefe der darunterliegenden Szenenoberfläche zuzuweisen, was geometrisch verzerrte Trajektorien erzeugt. Wir stellen 3D HAMSTER vor, ein hierarchisches Framework, das diese Lücke schließt, indem der Planer direkt metrisch zuverlässige 3D-Trajektorien ausgibt. Wir erweitern ein VLM um einen dedizierten Tiefenencoder und ein Ziel der dichten Tiefenrekonstruktion, um 3D-Wegpunktsequenzen vorherzusagen, die direkt in eine punktwolkenbasierte Low-Level-Policy integriert werden. In der 3D-Trajektorienvorhersage, Simulation und realen Manipulation übertrifft 3D HAMSTER durchgängig proprietäre VLMs und 2D-geführte Baselines, mit den größten Verbesserungen unter erscheinungsverändernden Verschiebungen sowie unbekannten sprachlichen, räumlichen und visuellen Bedingungen. Die Projektseite ist verfügbar unter https://davian-robotics.github.io/3D_HAMSTER/.

English

Hierarchical Vision-Language-Action (VLA) models decouple high-level planning from low-level control to improve generalization in robot manipulation. Recent work in this paradigm uses 2D end-effector trajectories predicted by a Vision-Language Model (VLM) as explicit guidance for a downstream policy. However, state-of-the-art low-level policies operate in 3D metric space on point clouds, and feeding them 2D guidance that lacks depth forces each waypoint to be assigned the depth of whatever scene surface lies beneath it, producing geometrically distorted trajectories. We propose 3D HAMSTER, a hierarchical framework that closes this gap by having the planner directly output metrically reliable 3D trajectories. We augment a VLM with a dedicated depth encoder and a dense depth reconstruction objective to predict 3D waypoint sequences, which are directly integrated into a pointcloudbased low-level policy. Across 3D trajectory prediction, simulation, and real-world manipulation, 3D HAMSTER consistently outperforms proprietary VLMs and 2D-guided baselines, with the largest gains under appearance-altering shifts and unseen language, spatial, and visual conditions. The project page is available at https://davian-robotics.github.io/3D_HAMSTER/.