Eine Übersicht zu Vision-Sprache-Handlungs-Modellen: Eine Perspektive der Handlungs-Tokenisierung

A Survey on Vision-Language-Action Models: An Action Tokenization Perspective

July 2, 2025

Autoren: Yifan Zhong, Fengshuo Bai, Shaofei Cai, Xuchuan Huang, Zhang Chen, Xiaowei Zhang, Yuanfei Wang, Shaoyang Guo, Tianrui Guan, Ka Nam Lui, Zhiquan Qi, Yitao Liang, Yuanpei Chen, Yaodong Yang

cs.AI

Zusammenfassung

Die bemerkenswerten Fortschritte von Vision- und Sprach-Foundation-Modellen im Bereich des multimodalen Verstehens, Schlussfolgerns und Generierens haben zunehmende Bemühungen ausgelöst, diese Intelligenz auf die physische Welt auszudehnen, was die Blüte von Vision-Language-Action (VLA)-Modellen vorantreibt. Trotz scheinbar unterschiedlicher Ansätze stellen wir fest, dass aktuelle VLA-Modelle unter einem einheitlichen Rahmen vereint werden können: Visuelle und sprachliche Eingaben werden durch eine Reihe von VLA-Modulen verarbeitet, die eine Kette von Aktions-Tokens erzeugen, die zunehmend fundierte und umsetzbare Informationen kodieren und schließlich ausführbare Aktionen generieren. Wir stellen weiterhin fest, dass die primäre Designentscheidung, die VLA-Modelle unterscheidet, in der Formulierung der Aktions-Tokens liegt, die in Sprachbeschreibung, Code, Affordance, Trajektorie, Zielzustand, latente Repräsentation, Rohaktion und Schlussfolgerung kategorisiert werden können. Dennoch besteht ein Mangel an umfassendem Verständnis bezüglich Aktions-Tokens, was die effektive Entwicklung von VLA-Modellen erheblich behindert und zukünftige Richtungen verschleiert. Daher zielt dieser Überblick darauf ab, bestehende VLA-Forschung durch die Linse der Aktions-Tokenisierung zu kategorisieren und zu interpretieren, die Stärken und Grenzen jedes Token-Typs herauszustellen und Verbesserungsbereiche zu identifizieren. Durch diese systematische Überprüfung und Analyse bieten wir einen zusammengefassten Ausblick auf die breitere Entwicklung von VLA-Modellen, heben unerforschte, aber vielversprechende Richtungen hervor und leisten einen Beitrag zur zukünftigen Forschung, in der Hoffnung, das Feld der allgemeinen Intelligenz näherzubringen.

English

The remarkable advancements of vision and language foundation models in multimodal understanding, reasoning, and generation has sparked growing efforts to extend such intelligence to the physical world, fueling the flourishing of vision-language-action (VLA) models. Despite seemingly diverse approaches, we observe that current VLA models can be unified under a single framework: vision and language inputs are processed by a series of VLA modules, producing a chain of action tokens that progressively encode more grounded and actionable information, ultimately generating executable actions. We further determine that the primary design choice distinguishing VLA models lies in how action tokens are formulated, which can be categorized into language description, code, affordance, trajectory, goal state, latent representation, raw action, and reasoning. However, there remains a lack of comprehensive understanding regarding action tokens, significantly impeding effective VLA development and obscuring future directions. Therefore, this survey aims to categorize and interpret existing VLA research through the lens of action tokenization, distill the strengths and limitations of each token type, and identify areas for improvement. Through this systematic review and analysis, we offer a synthesized outlook on the broader evolution of VLA models, highlight underexplored yet promising directions, and contribute guidance for future research, hoping to bring the field closer to general-purpose intelligence.