Uma Análise sobre Modelos Visão-Linguagem-Ação: Uma Perspectiva de Tokenização de Ações

A Survey on Vision-Language-Action Models: An Action Tokenization Perspective

July 2, 2025

Autores: Yifan Zhong, Fengshuo Bai, Shaofei Cai, Xuchuan Huang, Zhang Chen, Xiaowei Zhang, Yuanfei Wang, Shaoyang Guo, Tianrui Guan, Ka Nam Lui, Zhiquan Qi, Yitao Liang, Yuanpei Chen, Yaodong Yang

cs.AI

Resumo

Os notáveis avanços dos modelos fundamentais de visão e linguagem na compreensão, raciocínio e geração multimodal têm impulsionado esforços crescentes para estender essa inteligência ao mundo físico, alimentando o florescimento dos modelos visão-linguagem-ação (VLA). Apesar de abordagens aparentemente diversas, observamos que os atuais modelos VLA podem ser unificados em um único framework: as entradas de visão e linguagem são processadas por uma série de módulos VLA, produzindo uma cadeia de tokens de ação que codificam progressivamente informações mais concretas e acionáveis, gerando, por fim, ações executáveis. Determinamos ainda que a principal escolha de design que distingue os modelos VLA reside em como os tokens de ação são formulados, os quais podem ser categorizados em descrição linguística, código, affordance, trajetória, estado objetivo, representação latente, ação bruta e raciocínio. No entanto, ainda há uma falta de compreensão abrangente sobre os tokens de ação, o que impede significativamente o desenvolvimento eficaz de modelos VLA e obscurece direções futuras. Portanto, este estudo visa categorizar e interpretar as pesquisas existentes em VLA sob a perspectiva da tokenização de ação, destilar os pontos fortes e limitações de cada tipo de token e identificar áreas para melhoria. Por meio desta revisão e análise sistemática, oferecemos uma visão sintetizada sobre a evolução mais ampla dos modelos VLA, destacamos direções subexploradas, porém promissoras, e contribuímos com orientações para pesquisas futuras, na esperança de aproximar o campo da inteligência de propósito geral.

English

The remarkable advancements of vision and language foundation models in multimodal understanding, reasoning, and generation has sparked growing efforts to extend such intelligence to the physical world, fueling the flourishing of vision-language-action (VLA) models. Despite seemingly diverse approaches, we observe that current VLA models can be unified under a single framework: vision and language inputs are processed by a series of VLA modules, producing a chain of action tokens that progressively encode more grounded and actionable information, ultimately generating executable actions. We further determine that the primary design choice distinguishing VLA models lies in how action tokens are formulated, which can be categorized into language description, code, affordance, trajectory, goal state, latent representation, raw action, and reasoning. However, there remains a lack of comprehensive understanding regarding action tokens, significantly impeding effective VLA development and obscuring future directions. Therefore, this survey aims to categorize and interpret existing VLA research through the lens of action tokenization, distill the strengths and limitations of each token type, and identify areas for improvement. Through this systematic review and analysis, we offer a synthesized outlook on the broader evolution of VLA models, highlight underexplored yet promising directions, and contribute guidance for future research, hoping to bring the field closer to general-purpose intelligence.