Een overzicht van Vision-Language-Action-modellen: Een perspectief op actietokenisatie

A Survey on Vision-Language-Action Models: An Action Tokenization Perspective

July 2, 2025

Auteurs: Yifan Zhong, Fengshuo Bai, Shaofei Cai, Xuchuan Huang, Zhang Chen, Xiaowei Zhang, Yuanfei Wang, Shaoyang Guo, Tianrui Guan, Ka Nam Lui, Zhiquan Qi, Yitao Liang, Yuanpei Chen, Yaodong Yang

cs.AI

Samenvatting

De opmerkelijke vooruitgang van vision- en taal-foundationmodellen op het gebied van multimodale begripsvorming, redenering en generatie heeft een groeiende inspanning op gang gebracht om dergelijke intelligentie uit te breiden naar de fysieke wereld, wat de bloei van vision-language-action (VLA)-modellen heeft aangewakkerd. Ondanks schijnbaar diverse benaderingen, merken we op dat huidige VLA-modellen kunnen worden samengebracht onder één enkel raamwerk: visuele en taalkundige invoer wordt verwerkt door een reeks VLA-modules, die een keten van actietokens produceren die geleidelijk meer gegronde en uitvoerbare informatie coderen, wat uiteindelijk uitvoerbare acties genereert. We stellen verder vast dat de belangrijkste ontwerpkeuze die VLA-modellen onderscheidt, ligt in hoe actietokens worden geformuleerd, wat kan worden gecategoriseerd in taalomschrijving, code, affordance, traject, doeltoestand, latente representatie, ruwe actie en redenering. Er blijft echter een gebrek aan een uitgebreid begrip van actietokens, wat de effectieve ontwikkeling van VLA aanzienlijk belemmert en toekomstige richtingen vertroebelt. Daarom beoogt dit overzicht bestaand VLA-onderzoek te categoriseren en interpreteren door de lens van actietokenisatie, de sterke en zwakke punten van elk tokentype te destilleren, en gebieden voor verbetering te identificeren. Door deze systematische review en analyse bieden we een samengevat perspectief op de bredere evolutie van VLA-modellen, belichten we onderbelichte maar veelbelovende richtingen, en dragen we richtlijnen bij voor toekomstig onderzoek, in de hoop het veld dichter bij algemene intelligentie te brengen.

English

The remarkable advancements of vision and language foundation models in multimodal understanding, reasoning, and generation has sparked growing efforts to extend such intelligence to the physical world, fueling the flourishing of vision-language-action (VLA) models. Despite seemingly diverse approaches, we observe that current VLA models can be unified under a single framework: vision and language inputs are processed by a series of VLA modules, producing a chain of action tokens that progressively encode more grounded and actionable information, ultimately generating executable actions. We further determine that the primary design choice distinguishing VLA models lies in how action tokens are formulated, which can be categorized into language description, code, affordance, trajectory, goal state, latent representation, raw action, and reasoning. However, there remains a lack of comprehensive understanding regarding action tokens, significantly impeding effective VLA development and obscuring future directions. Therefore, this survey aims to categorize and interpret existing VLA research through the lens of action tokenization, distill the strengths and limitations of each token type, and identify areas for improvement. Through this systematic review and analysis, we offer a synthesized outlook on the broader evolution of VLA models, highlight underexplored yet promising directions, and contribute guidance for future research, hoping to bring the field closer to general-purpose intelligence.