LoHoVLA: Un Modello Unificato Visione-Linguaggio-Azione per Compiti Embodied a Lungo Orizzonte

LoHoVLA: A Unified Vision-Language-Action Model for Long-Horizon Embodied Tasks

May 31, 2025

Autori: Yi Yang, Jiaxuan Sun, Siqi Kou, Yihan Wang, Zhijie Deng

cs.AI

Abstract

Gli agenti incarnati nel mondo reale affrontano compiti a lungo termine, caratterizzati da obiettivi di alto livello che richiedono soluzioni multi-step che vanno oltre singole azioni. Per navigare con successo in questi scenari, è necessario sia una pianificazione di alto livello (cioè, la scomposizione degli obiettivi in sotto-compiti) sia un controllo di movimento di basso livello (cioè, la generazione di azioni precise del robot). Sebbene i modelli esistenti di visione, linguaggio e azione (VLA) e le architetture gerarchiche offrano potenzialità nei compiti incarnati, i primi spesso falliscono nella pianificazione, mentre le seconde possono soffrire di problemi di coordinazione, entrambi fattori che compromettono le prestazioni. Introduciamo un nuovo framework VLA unificato per compiti a lungo termine, denominato LoHoVLA, per superare queste limitazioni. LoHoVLA sfrutta un grande modello pre-addestrato di visione e linguaggio (VLM) come backbone per generare congiuntamente token linguistici e di azione, rispettivamente per la generazione di sotto-compiti e la previsione delle azioni del robot. Questa rappresentazione condivisa promuove una migliore generalizzazione tra i compiti. Inoltre, LoHoVLA adotta un meccanismo di controllo gerarchico a ciclo chiuso per mitigare gli errori derivanti sia dalla pianificazione di alto livello che dal controllo di basso livello. Per addestrare LoHoVLA, introduciamo LoHoSet, un dataset costruito sul simulatore Ravens, contenente 20 compiti a lungo termine, ciascuno con 1.000 dimostrazioni esperte composte da osservazioni visive, obiettivi linguistici, sotto-compiti e azioni del robot. I risultati sperimentali mostrano che LoHoVLA supera significativamente sia gli approcci gerarchici che quelli VLA standard nei compiti incarnati a lungo termine nel simulatore Ravens. Questi risultati sottolineano la promessa delle architetture unificate per far progredire l'intelligenza incarnata generalizzabile.

English

Real-world embodied agents face long-horizon tasks, characterized by high-level goals demanding multi-step solutions beyond single actions. Successfully navigating these requires both high-level task planning (i.e., decomposing goals into sub-tasks) and low-level motion control (i.e., generating precise robot actions). While existing vision language action (VLA) models and hierarchical architectures offer potential in embodied tasks, the former often falter in planning, and the latter can suffer from coordination issues, both hampering performance. We introduce a new unified VLA framework for long-horizon tasks, dubbed LoHoVLA, to overcome these limitations. LoHoVLA leverages a large pretrained vision language model (VLM) as the backbone to jointly generate language and action tokens for sub-task generation and robot action prediction, respectively. This shared representation promotes better generalization across tasks. Additionally, LoHoVLA embraces a hierarchical closed-loop control mechanism to mitigate errors originating from both high-level planning and low-level control. To train LoHoVLA, we introduce LoHoSet, a dataset built on the Ravens simulator, containing 20 long-horizon tasks, each with 1,000 expert demonstrations composed of visual observations, linguistic goals, sub-tasks, and robot actions. Experimental results show that LoHoVLA significantly surpasses both hierarchical and standard VLA approaches on long-horizon embodied tasks in the Ravens simulator. These findings underscore the promise of unified architectures for advancing generalizable embodied intelligence.