Una Encuesta sobre Modelos de Visión-Lenguaje-Acción: Una Perspectiva de Tokenización de Acciones

A Survey on Vision-Language-Action Models: An Action Tokenization Perspective

July 2, 2025

Autores: Yifan Zhong, Fengshuo Bai, Shaofei Cai, Xuchuan Huang, Zhang Chen, Xiaowei Zhang, Yuanfei Wang, Shaoyang Guo, Tianrui Guan, Ka Nam Lui, Zhiquan Qi, Yitao Liang, Yuanpei Chen, Yaodong Yang

cs.AI

Resumen

Los notables avances de los modelos fundamentales de visión y lenguaje en la comprensión, razonamiento y generación multimodal han impulsado esfuerzos crecientes para extender dicha inteligencia al mundo físico, fomentando el florecimiento de los modelos de visión-lenguaje-acción (VLA). A pesar de enfoques aparentemente diversos, observamos que los modelos VLA actuales pueden unificarse bajo un único marco: las entradas de visión y lenguaje son procesadas por una serie de módulos VLA, produciendo una cadena de tokens de acción que codifican progresivamente información más concreta y accionable, generando finalmente acciones ejecutables. Además, determinamos que la principal elección de diseño que distingue a los modelos VLA radica en cómo se formulan los tokens de acción, los cuales pueden categorizarse en descripción lingüística, código, affordance, trayectoria, estado objetivo, representación latente, acción bruta y razonamiento. Sin embargo, aún existe una falta de comprensión integral sobre los tokens de acción, lo que dificulta significativamente el desarrollo efectivo de los modelos VLA y oscurece las direcciones futuras. Por lo tanto, este estudio tiene como objetivo categorizar e interpretar la investigación existente en VLA a través de la lente de la tokenización de acción, destilar las fortalezas y limitaciones de cada tipo de token, e identificar áreas de mejora. A través de esta revisión y análisis sistemático, ofrecemos una perspectiva sintetizada sobre la evolución más amplia de los modelos VLA, destacamos direcciones poco exploradas pero prometedoras, y contribuimos con orientaciones para futuras investigaciones, con la esperanza de acercar el campo a la inteligencia de propósito general.

English

The remarkable advancements of vision and language foundation models in multimodal understanding, reasoning, and generation has sparked growing efforts to extend such intelligence to the physical world, fueling the flourishing of vision-language-action (VLA) models. Despite seemingly diverse approaches, we observe that current VLA models can be unified under a single framework: vision and language inputs are processed by a series of VLA modules, producing a chain of action tokens that progressively encode more grounded and actionable information, ultimately generating executable actions. We further determine that the primary design choice distinguishing VLA models lies in how action tokens are formulated, which can be categorized into language description, code, affordance, trajectory, goal state, latent representation, raw action, and reasoning. However, there remains a lack of comprehensive understanding regarding action tokens, significantly impeding effective VLA development and obscuring future directions. Therefore, this survey aims to categorize and interpret existing VLA research through the lens of action tokenization, distill the strengths and limitations of each token type, and identify areas for improvement. Through this systematic review and analysis, we offer a synthesized outlook on the broader evolution of VLA models, highlight underexplored yet promising directions, and contribute guidance for future research, hoping to bring the field closer to general-purpose intelligence.