조건 공간에서의 세계 모델링을 통한 행동 생성: 세계 가이던스

초록

미래 관측 모델링을 활용하여 행동 생성을 촉진하는 것은 Vision-Language-Action (VLA) 모델의 성능을 향상시키는 유망한 방안입니다. 그러나 기존 방법들은 효율적이고 예측 가능한 미래 표현을 유지하는 것과 정밀한 행동 생성을 안내하기에 충분한 세부 정보를 보존하는 것 사이의 균형을 맞추는 데 어려움을 겪습니다. 이러한 한계를 해결하기 위해 우리는 미래 관측을 행동 추론 파이프라인에 주입하여 간결한 조건으로 매핑하는 WoG(World Guidance) 프레임워크를 제안합니다. VLA는 이러한 압축된 조건을 미래 행동과 함께 동시에 예측하도록 훈련되어, 행동 추론을 위한 조건 공간 내에서 효과적인 세계 모델링을 달성합니다. 우리는 이 조건 공간을 모델링하고 예측하는 것이 세부적인 행동 생성을 용이하게 할 뿐만 아니라 뛰어난 일반화 능력을 보인다는 것을 입증합니다. 또한, 이 방법은 방대한 인간 조작 비디오로부터 효과적으로 학습합니다. 시뮬레이션과 실제 환경에서의 광범위한 실험을 통해 우리의 방법이 미래 예측에 기반한 기존 방법들을 크게 능가함을 검증합니다. 프로젝트 페이지는 https://selen-suyue.github.io/WoGNet/에서 확인할 수 있습니다.

English

Leveraging future observation modeling to facilitate action generation presents a promising avenue for enhancing the capabilities of Vision-Language-Action (VLA) models. However, existing approaches struggle to strike a balance between maintaining efficient, predictable future representations and preserving sufficient fine-grained information to guide precise action generation. To address this limitation, we propose WoG (World Guidance), a framework that maps future observations into compact conditions by injecting them into the action inference pipeline. The VLA is then trained to simultaneously predict these compressed conditions alongside future actions, thereby achieving effective world modeling within the condition space for action inference. We demonstrate that modeling and predicting this condition space not only facilitates fine-grained action generation but also exhibits superior generalization capabilities. Moreover, it learns effectively from substantial human manipulation videos. Extensive experiments across both simulation and real-world environments validate that our method significantly outperforms existing methods based on future prediction. Project page is available at: https://selen-suyue.github.io/WoGNet/

조건 공간에서의 세계 모델링을 통한 행동 생성: 세계 가이던스

World Guidance: World Modeling in Condition Space for Action Generation

초록

Support