3D HAMSTER: 3D 궤적 유도를 통한 계층적 비전-언어-행동 모델에서의 계획과 제어 연계

초록

계층적 VLA(Hierarchical Vision-Language-Action) 모델은 고수준 계획과 저수준 제어를 분리하여 로봇 조작의 일반화 성능을 향상시킨다. 이 패러다임의 최근 연구는 비전-언어 모델(VLM)이 예측한 2D 엔드 이펙터 궤적을 하위 정책의 명시적 가이드로 사용한다. 그러나 최첨단 저수준 정책은 포인트 클라우드 상의 3D 미터법 공간에서 작동하며, 깊이가 없는 2D 가이드를 입력하면 각 웨이포인트가 그 아래에 있는 장면 표면의 깊이를 할당받아 기하학적으로 왜곡된 궤적이 생성된다. 본 논문에서는 계획기가 직접 미터법적으로 신뢰할 수 있는 3D 궤적을 출력하도록 하여 이 격차를 해소하는 계층적 프레임워크인 3D HAMSTER를 제안한다. 전용 깊이 인코더와 조밀한 깊이 재구성 목적 함수를 VLM에 추가하여 3D 웨이포인트 시퀀스를 예측하고, 이를 포인트 클라우드 기반 저수준 정책에 직접 통합한다. 3D 궤적 예측, 시뮬레이션 및 실제 조작에서 3D HAMSTER는 독점 VLM 및 2D 가이드 기반 방법보다 일관되게 우수한 성능을 보이며, 특히 외관 변화 및 보지 못한 언어, 공간, 시각 조건에서 가장 큰 성능 향상을 보인다. 프로젝트 페이지는 https://davian-robotics.github.io/3D_HAMSTER/에서 확인할 수 있다.

English

Hierarchical Vision-Language-Action (VLA) models decouple high-level planning from low-level control to improve generalization in robot manipulation. Recent work in this paradigm uses 2D end-effector trajectories predicted by a Vision-Language Model (VLM) as explicit guidance for a downstream policy. However, state-of-the-art low-level policies operate in 3D metric space on point clouds, and feeding them 2D guidance that lacks depth forces each waypoint to be assigned the depth of whatever scene surface lies beneath it, producing geometrically distorted trajectories. We propose 3D HAMSTER, a hierarchical framework that closes this gap by having the planner directly output metrically reliable 3D trajectories. We augment a VLM with a dedicated depth encoder and a dense depth reconstruction objective to predict 3D waypoint sequences, which are directly integrated into a pointcloudbased low-level policy. Across 3D trajectory prediction, simulation, and real-world manipulation, 3D HAMSTER consistently outperforms proprietary VLMs and 2D-guided baselines, with the largest gains under appearance-altering shifts and unseen language, spatial, and visual conditions. The project page is available at https://davian-robotics.github.io/3D_HAMSTER/.