LoHoVLA: Унифицированная модель "Видение-Язык-Действие" для долгосрочных воплощённых задач

LoHoVLA: A Unified Vision-Language-Action Model for Long-Horizon Embodied Tasks

May 31, 2025

Авторы: Yi Yang, Jiaxuan Sun, Siqi Kou, Yihan Wang, Zhijie Deng

cs.AI

Аннотация

Реальные воплощённые агенты сталкиваются с задачами долгосрочного характера, которые характеризуются высокоуровневыми целями, требующими многошаговых решений, выходящих за рамки единичных действий. Успешное выполнение таких задач требует как высокоуровневого планирования (т.е. декомпозиции целей на подзадачи), так и низкоуровневого управления движением (т.е. генерации точных действий робота). Хотя существующие модели "визуальный язык-действие" (VLA) и иерархические архитектуры демонстрируют потенциал в задачах воплощённого интеллекта, первые часто испытывают трудности в планировании, а вторые могут страдать от проблем координации, что снижает их производительность. Мы представляем новую унифицированную VLA-структуру для задач долгосрочного характера, названную LoHoVLA, которая преодолевает эти ограничения. LoHoVLA использует крупную предобученную модель "визуальный язык" (VLM) в качестве основы для совместной генерации языковых и акционных токенов, предназначенных для создания подзадач и предсказания действий робота соответственно. Это общее представление способствует лучшей обобщаемости между задачами. Кроме того, LoHoVLA включает иерархический механизм замкнутого управления для минимизации ошибок, возникающих как на высокоуровневом планировании, так и на низкоуровневом управлении. Для обучения LoHoVLA мы представляем LoHoSet — набор данных, созданный на основе симулятора Ravens, содержащий 20 задач долгосрочного характера, каждая из которых включает 1000 экспертных демонстраций, состоящих из визуальных наблюдений, лингвистических целей, подзадач и действий робота. Экспериментальные результаты показывают, что LoHoVLA значительно превосходит как иерархические, так и стандартные VLA-подходы в задачах долгосрочного характера в симуляторе Ravens. Эти результаты подчеркивают перспективность унифицированных архитектур для продвижения обобщаемого воплощённого интеллекта.

English

Real-world embodied agents face long-horizon tasks, characterized by high-level goals demanding multi-step solutions beyond single actions. Successfully navigating these requires both high-level task planning (i.e., decomposing goals into sub-tasks) and low-level motion control (i.e., generating precise robot actions). While existing vision language action (VLA) models and hierarchical architectures offer potential in embodied tasks, the former often falter in planning, and the latter can suffer from coordination issues, both hampering performance. We introduce a new unified VLA framework for long-horizon tasks, dubbed LoHoVLA, to overcome these limitations. LoHoVLA leverages a large pretrained vision language model (VLM) as the backbone to jointly generate language and action tokens for sub-task generation and robot action prediction, respectively. This shared representation promotes better generalization across tasks. Additionally, LoHoVLA embraces a hierarchical closed-loop control mechanism to mitigate errors originating from both high-level planning and low-level control. To train LoHoVLA, we introduce LoHoSet, a dataset built on the Ravens simulator, containing 20 long-horizon tasks, each with 1,000 expert demonstrations composed of visual observations, linguistic goals, sub-tasks, and robot actions. Experimental results show that LoHoVLA significantly surpasses both hierarchical and standard VLA approaches on long-horizon embodied tasks in the Ravens simulator. These findings underscore the promise of unified architectures for advancing generalizable embodied intelligence.