Обзор моделей "Видение-Язык-Действие": перспектива токенизации действий
A Survey on Vision-Language-Action Models: An Action Tokenization Perspective
July 2, 2025
Авторы: Yifan Zhong, Fengshuo Bai, Shaofei Cai, Xuchuan Huang, Zhang Chen, Xiaowei Zhang, Yuanfei Wang, Shaoyang Guo, Tianrui Guan, Ka Nam Lui, Zhiquan Qi, Yitao Liang, Yuanpei Chen, Yaodong Yang
cs.AI
Аннотация
Заметные достижения в области базовых моделей для обработки зрения и языка в задачах мультимодального понимания, рассуждения и генерации стимулировали растущие усилия по расширению таких интеллектуальных возможностей на физический мир, что способствовало активному развитию моделей "зрение-язык-действие" (VLA). Несмотря на кажущееся разнообразие подходов, мы отмечаем, что современные VLA-модели могут быть объединены в рамках единой структуры: входные данные зрения и языка обрабатываются серией VLA-модулей, создавая цепочку токенов действий, которые постепенно кодируют более конкретную и применимую информацию, в конечном итоге генерируя исполняемые действия. Мы также определяем, что ключевым выбором при проектировании VLA-моделей является способ формулирования токенов действий, который можно классифицировать как языковое описание, код, аффорданс, траекторию, целевое состояние, латентное представление, сырое действие и рассуждение. Однако до сих пор отсутствует всестороннее понимание токенов действий, что существенно затрудняет эффективное развитие VLA и затемняет будущие направления. Таким образом, данный обзор ставит целью классифицировать и интерпретировать существующие исследования VLA через призму токенизации действий, выделить сильные и слабые стороны каждого типа токенов, а также определить области для улучшения. Благодаря систематическому обзору и анализу мы предлагаем синтезированный взгляд на более широкую эволюцию VLA-моделей, выделяем недостаточно изученные, но перспективные направления и вносим вклад в руководство для будущих исследований, надеясь приблизить область к созданию универсального искусственного интеллекта.
English
The remarkable advancements of vision and language foundation models in
multimodal understanding, reasoning, and generation has sparked growing efforts
to extend such intelligence to the physical world, fueling the flourishing of
vision-language-action (VLA) models. Despite seemingly diverse approaches, we
observe that current VLA models can be unified under a single framework: vision
and language inputs are processed by a series of VLA modules, producing a chain
of action tokens that progressively encode more grounded and
actionable information, ultimately generating executable actions. We further
determine that the primary design choice distinguishing VLA models lies in how
action tokens are formulated, which can be categorized into language
description, code, affordance, trajectory, goal state, latent representation,
raw action, and reasoning. However, there remains a lack of comprehensive
understanding regarding action tokens, significantly impeding effective VLA
development and obscuring future directions. Therefore, this survey aims to
categorize and interpret existing VLA research through the lens of action
tokenization, distill the strengths and limitations of each token type, and
identify areas for improvement. Through this systematic review and analysis, we
offer a synthesized outlook on the broader evolution of VLA models, highlight
underexplored yet promising directions, and contribute guidance for future
research, hoping to bring the field closer to general-purpose intelligence.