LoHoVLA: Een Geïntegreerd Visie-Taal-Actie Model voor Langetermijn Belichaamde Taken

LoHoVLA: A Unified Vision-Language-Action Model for Long-Horizon Embodied Tasks

May 31, 2025

Auteurs: Yi Yang, Jiaxuan Sun, Siqi Kou, Yihan Wang, Zhijie Deng

cs.AI

Samenvatting

In de echte wereld worden belichaamde agenten geconfronteerd met taken met een lange horizon, gekenmerkt door hoogwaardige doelen die meerdere stappen vereisen die verder gaan dan enkele acties. Het succesvol navigeren door deze taken vereist zowel hoogwaardige taakplanning (d.w.z. het opdelen van doelen in sub-taken) als laagwaardige bewegingscontrole (d.w.z. het genereren van precieze robotacties). Hoewel bestaande vision-language-action (VLA) modellen en hiërarchische architecturen potentieel bieden voor belichaamde taken, faalt de eerste vaak in planning, en kan de laatste last hebben van coördinatieproblemen, wat beide de prestaties belemmert. We introduceren een nieuw geünificeerd VLA-framework voor taken met een lange horizon, genaamd LoHoVLA, om deze beperkingen te overwinnen. LoHoVLA maakt gebruik van een groot vooraf getraind vision-language model (VLM) als ruggengraat om gezamenlijk taal- en actietokens te genereren voor respectievelijk sub-taakgeneratie en robotactievoorspelling. Deze gedeelde representatie bevordert een betere generalisatie over taken. Daarnaast omarmt LoHoVLA een hiërarchisch gesloten-lus controlemechanisme om fouten afkomstig van zowel hoogwaardige planning als laagwaardige controle te verminderen. Om LoHoVLA te trainen, introduceren we LoHoSet, een dataset gebaseerd op de Ravens-simulator, die 20 taken met een lange horizon bevat, elk met 1.000 expertdemonstraties bestaande uit visuele observaties, linguïstische doelen, sub-taken en robotacties. Experimentele resultaten tonen aan dat LoHoVLA zowel hiërarchische als standaard VLA-benaderingen significant overtreft bij taken met een lange horizon in de Ravens-simulator. Deze bevindingen onderstrepen de belofte van geünificeerde architecturen voor het bevorderen van generaliseerbare belichaamde intelligentie.

English

Real-world embodied agents face long-horizon tasks, characterized by high-level goals demanding multi-step solutions beyond single actions. Successfully navigating these requires both high-level task planning (i.e., decomposing goals into sub-tasks) and low-level motion control (i.e., generating precise robot actions). While existing vision language action (VLA) models and hierarchical architectures offer potential in embodied tasks, the former often falter in planning, and the latter can suffer from coordination issues, both hampering performance. We introduce a new unified VLA framework for long-horizon tasks, dubbed LoHoVLA, to overcome these limitations. LoHoVLA leverages a large pretrained vision language model (VLM) as the backbone to jointly generate language and action tokens for sub-task generation and robot action prediction, respectively. This shared representation promotes better generalization across tasks. Additionally, LoHoVLA embraces a hierarchical closed-loop control mechanism to mitigate errors originating from both high-level planning and low-level control. To train LoHoVLA, we introduce LoHoSet, a dataset built on the Ravens simulator, containing 20 long-horizon tasks, each with 1,000 expert demonstrations composed of visual observations, linguistic goals, sub-tasks, and robot actions. Experimental results show that LoHoVLA significantly surpasses both hierarchical and standard VLA approaches on long-horizon embodied tasks in the Ravens simulator. These findings underscore the promise of unified architectures for advancing generalizable embodied intelligence.