LoHoVLA: Un Modelo Unificado de Visión-Lenguaje-Acción para Tareas Embebidas de Horizonte Largo

LoHoVLA: A Unified Vision-Language-Action Model for Long-Horizon Embodied Tasks

May 31, 2025

Autores: Yi Yang, Jiaxuan Sun, Siqi Kou, Yihan Wang, Zhijie Deng

cs.AI

Resumen

Los agentes corporizados en el mundo real enfrentan tareas de horizonte largo, caracterizadas por objetivos de alto nivel que requieren soluciones de múltiples pasos más allá de acciones individuales. Para navegar con éxito estas tareas, se necesita tanto planificación de alto nivel (es decir, descomponer objetivos en sub-tareas) como control de movimiento de bajo nivel (es decir, generar acciones precisas del robot). Aunque los modelos existentes de visión, lenguaje y acción (VLA) y las arquitecturas jerárquicas ofrecen potencial en tareas corporizadas, los primeros a menudo fallan en la planificación, y los segundos pueden sufrir problemas de coordinación, lo que perjudica el rendimiento. Introducimos un nuevo marco unificado de VLA para tareas de horizonte largo, denominado LoHoVLA, para superar estas limitaciones. LoHoVLA aprovecha un modelo de visión y lenguaje (VLM) preentrenado como columna vertebral para generar conjuntamente tokens de lenguaje y de acción para la generación de sub-tareas y la predicción de acciones del robot, respectivamente. Esta representación compartida promueve una mejor generalización entre tareas. Además, LoHoVLA incorpora un mecanismo de control jerárquico en bucle cerrado para mitigar errores originados tanto en la planificación de alto nivel como en el control de bajo nivel. Para entrenar LoHoVLA, presentamos LoHoSet, un conjunto de datos basado en el simulador Ravens, que contiene 20 tareas de horizonte largo, cada una con 1,000 demostraciones expertas compuestas por observaciones visuales, objetivos lingüísticos, sub-tareas y acciones del robot. Los resultados experimentales muestran que LoHoVLA supera significativamente tanto los enfoques jerárquicos como los estándar de VLA en tareas corporizadas de horizonte largo en el simulador Ravens. Estos hallazgos subrayan la promesa de las arquitecturas unificadas para avanzar en la inteligencia corporizada generalizable.

English

Real-world embodied agents face long-horizon tasks, characterized by high-level goals demanding multi-step solutions beyond single actions. Successfully navigating these requires both high-level task planning (i.e., decomposing goals into sub-tasks) and low-level motion control (i.e., generating precise robot actions). While existing vision language action (VLA) models and hierarchical architectures offer potential in embodied tasks, the former often falter in planning, and the latter can suffer from coordination issues, both hampering performance. We introduce a new unified VLA framework for long-horizon tasks, dubbed LoHoVLA, to overcome these limitations. LoHoVLA leverages a large pretrained vision language model (VLM) as the backbone to jointly generate language and action tokens for sub-task generation and robot action prediction, respectively. This shared representation promotes better generalization across tasks. Additionally, LoHoVLA embraces a hierarchical closed-loop control mechanism to mitigate errors originating from both high-level planning and low-level control. To train LoHoVLA, we introduce LoHoSet, a dataset built on the Ravens simulator, containing 20 long-horizon tasks, each with 1,000 expert demonstrations composed of visual observations, linguistic goals, sub-tasks, and robot actions. Experimental results show that LoHoVLA significantly surpasses both hierarchical and standard VLA approaches on long-horizon embodied tasks in the Ravens simulator. These findings underscore the promise of unified architectures for advancing generalizable embodied intelligence.