Una Rassegna sui Modelli Visione-Linguaggio-Azione: Una Prospettiva sulla Tokenizzazione delle Azioni

A Survey on Vision-Language-Action Models: An Action Tokenization Perspective

July 2, 2025

Autori: Yifan Zhong, Fengshuo Bai, Shaofei Cai, Xuchuan Huang, Zhang Chen, Xiaowei Zhang, Yuanfei Wang, Shaoyang Guo, Tianrui Guan, Ka Nam Lui, Zhiquan Qi, Yitao Liang, Yuanpei Chen, Yaodong Yang

cs.AI

Abstract

I notevoli progressi dei modelli di base per la visione e il linguaggio nella comprensione, ragionamento e generazione multimodale hanno stimolato crescenti sforzi per estendere tale intelligenza al mondo fisico, alimentando la fioritura dei modelli visione-linguaggio-azione (VLA). Nonostante approcci apparentemente diversi, osserviamo che gli attuali modelli VLA possono essere unificati in un unico framework: gli input di visione e linguaggio vengono elaborati da una serie di moduli VLA, producendo una catena di token d'azione che codificano progressivamente informazioni più concrete e azionabili, generando infine azioni eseguibili. Determiniamo inoltre che la principale scelta progettuale che distingue i modelli VLA risiede nella formulazione dei token d'azione, che può essere categorizzata in descrizione linguistica, codice, affordance, traiettoria, stato obiettivo, rappresentazione latente, azione grezza e ragionamento. Tuttavia, manca ancora una comprensione completa dei token d'azione, ostacolando significativamente lo sviluppo efficace dei VLA e oscurando le direzioni future. Pertanto, questa survey mira a categorizzare e interpretare la ricerca esistente sui VLA attraverso la lente della tokenizzazione delle azioni, distillare i punti di forza e le limitazioni di ciascun tipo di token e identificare aree di miglioramento. Attraverso questa revisione e analisi sistematica, offriamo una prospettiva sintetizzata sull'evoluzione più ampia dei modelli VLA, evidenziamo direzioni poco esplorate ma promettenti e contribuiamo con linee guida per la ricerca futura, sperando di avvicinare il campo all'intelligenza generale.

English

The remarkable advancements of vision and language foundation models in multimodal understanding, reasoning, and generation has sparked growing efforts to extend such intelligence to the physical world, fueling the flourishing of vision-language-action (VLA) models. Despite seemingly diverse approaches, we observe that current VLA models can be unified under a single framework: vision and language inputs are processed by a series of VLA modules, producing a chain of action tokens that progressively encode more grounded and actionable information, ultimately generating executable actions. We further determine that the primary design choice distinguishing VLA models lies in how action tokens are formulated, which can be categorized into language description, code, affordance, trajectory, goal state, latent representation, raw action, and reasoning. However, there remains a lack of comprehensive understanding regarding action tokens, significantly impeding effective VLA development and obscuring future directions. Therefore, this survey aims to categorize and interpret existing VLA research through the lens of action tokenization, distill the strengths and limitations of each token type, and identify areas for improvement. Through this systematic review and analysis, we offer a synthesized outlook on the broader evolution of VLA models, highlight underexplored yet promising directions, and contribute guidance for future research, hoping to bring the field closer to general-purpose intelligence.