Une étude sur les modèles vision-langage-action : une perspective de tokenisation des actions

A Survey on Vision-Language-Action Models: An Action Tokenization Perspective

July 2, 2025

Auteurs: Yifan Zhong, Fengshuo Bai, Shaofei Cai, Xuchuan Huang, Zhang Chen, Xiaowei Zhang, Yuanfei Wang, Shaoyang Guo, Tianrui Guan, Ka Nam Lui, Zhiquan Qi, Yitao Liang, Yuanpei Chen, Yaodong Yang

cs.AI

Résumé

Les avancées remarquables des modèles de base en vision et langage dans la compréhension, le raisonnement et la génération multimodales ont suscité des efforts croissants pour étendre cette intelligence au monde physique, stimulant ainsi l'essor des modèles vision-langage-action (VLA). Malgré des approches apparemment diverses, nous observons que les modèles VLA actuels peuvent être unifiés sous un cadre unique : les entrées visuelles et linguistiques sont traitées par une série de modules VLA, produisant une chaîne de tokens d'action qui encodent progressivement des informations plus concrètes et exploitables, générant finalement des actions exécutables. Nous déterminons en outre que le choix de conception principal distinguant les modèles VLA réside dans la manière dont les tokens d'action sont formulés, qui peuvent être catégorisés en description linguistique, code, affordance, trajectoire, état objectif, représentation latente, action brute et raisonnement. Cependant, il manque une compréhension exhaustive des tokens d'action, ce qui entrave considérablement le développement efficace des VLA et obscurcit les orientations futures. Par conséquent, cette étude vise à catégoriser et interpréter les recherches existantes sur les VLA à travers le prisme de la tokenisation d'action, à distiller les forces et les limites de chaque type de token, et à identifier les domaines à améliorer. Grâce à cette revue systématique et à cette analyse, nous offrons une perspective synthétique sur l'évolution plus large des modèles VLA, mettons en lumière des directions sous-explorées mais prometteuses, et contribuons à des orientations pour les recherches futures, espérant ainsi rapprocher le domaine de l'intelligence à usage général.

English

The remarkable advancements of vision and language foundation models in multimodal understanding, reasoning, and generation has sparked growing efforts to extend such intelligence to the physical world, fueling the flourishing of vision-language-action (VLA) models. Despite seemingly diverse approaches, we observe that current VLA models can be unified under a single framework: vision and language inputs are processed by a series of VLA modules, producing a chain of action tokens that progressively encode more grounded and actionable information, ultimately generating executable actions. We further determine that the primary design choice distinguishing VLA models lies in how action tokens are formulated, which can be categorized into language description, code, affordance, trajectory, goal state, latent representation, raw action, and reasoning. However, there remains a lack of comprehensive understanding regarding action tokens, significantly impeding effective VLA development and obscuring future directions. Therefore, this survey aims to categorize and interpret existing VLA research through the lens of action tokenization, distill the strengths and limitations of each token type, and identify areas for improvement. Through this systematic review and analysis, we offer a synthesized outlook on the broader evolution of VLA models, highlight underexplored yet promising directions, and contribute guidance for future research, hoping to bring the field closer to general-purpose intelligence.