Von der Absicht zur Ausführung: Untersuchung der Generalisierungsgrenzen von Vision-Sprache-Handlungs-Modellen
From Intention to Execution: Probing the Generalization Boundaries of Vision-Language-Action Models
June 11, 2025
papers.authors: Irving Fang, Juexiao Zhang, Shengbang Tong, Chen Feng
cs.AI
papers.abstract
Ein Versprechen, das Vision-Language-Action (VLA)-Modelle gegenüber traditionellem Imitationslernen in der Robotik bieten, ist die Nutzung der breiten Generalisierungsfähigkeiten großer Vision-Language-Modelle (VLMs), um vielseitige, „generalistische“ Roboterrichtlinien zu erzeugen. Allerdings bleiben aktuelle Bewertungen von VLA-Modellen unzureichend. Traditionelle Benchmarks für Imitationslernen sind ungeeignet, da sie keine Sprachanweisungen enthalten. Neu entstehende Benchmarks für VLA-Modelle, die Sprache integrieren, bieten oft nur begrenzte Evaluierungsaufgaben und zielen nicht darauf ab, zu untersuchen, wie viel das VLM-Pretraining tatsächlich zur Generalisierungsfähigkeit der nachgelagerten Roboterrichtlinie beiträgt. Gleichzeitig stützt sich viel Forschung auf reale Robotersysteme, die isoliert von verschiedenen Institutionen entwickelt wurden, was die Reproduzierbarkeit und Zugänglichkeit erschwert. Um diese Lücke zu schließen, führen wir ein einheitliches Testsuite mit 50 simulationsbasierten Aufgaben in 10 Unterkategorien ein, die Sprachanweisungen, Vision und Objekte umfassen. Wir bewerten systematisch mehrere state-of-the-art VLA-Architekturen in diesem Suite, um ihre Generalisierungsfähigkeit zu verstehen. Unsere Ergebnisse zeigen, dass VLM-Backbones VLA-Modellen zwar ein robustes Wahrnehmungsverständnis und eine hochwertige Planung verleihen, was wir als gute Absichten bezeichnen, dies jedoch nicht zuverlässig in präzise motorische Ausführung umgesetzt wird: Bei Beobachtungen außerhalb der Trainingsverteilung zeigen die Richtlinien oft kohärente Absichten, scheitern jedoch bei der Ausführung der Aktionen. Darüber hinaus kann das Feinabstimmen auf Aktionsdaten die ursprünglichen generalistischen Denkfähigkeiten des VLM beeinträchtigen. Wir veröffentlichen unser Aufgaben-Suite und Evaluierungscode als standardisierten Benchmark für zukünftige VLA-Modelle und um die Forschung zur Schließung der Lücke zwischen Wahrnehmung und Aktion voranzutreiben. Weitere Informationen, einschließlich des Quellcodes, finden Sie unter https://ai4ce.github.io/INT-ACT/.
English
One promise that Vision-Language-Action (VLA) models hold over traditional
imitation learning for robotics is to leverage the broad generalization
capabilities of large Vision-Language Models (VLMs) to produce versatile,
"generalist" robot policies. However, current evaluations of VLAs remain
insufficient. Traditional imitation learning benchmarks are unsuitable due to
the lack of language instructions. Emerging benchmarks for VLAs that
incorporate language often come with limited evaluation tasks and do not intend
to investigate how much VLM pretraining truly contributes to the generalization
capabilities of the downstream robotic policy. Meanwhile, much research relies
on real-world robot setups designed in isolation by different institutions,
which creates a barrier for reproducibility and accessibility. To address this
gap, we introduce a unified probing suite of 50 simulation-based tasks across
10 subcategories spanning language instruction, vision, and objects. We
systematically evaluate several state-of-the-art VLA architectures on this
suite to understand their generalization capability. Our results show that
while VLM backbones endow VLAs with robust perceptual understanding and high
level planning, which we refer to as good intentions, this does not reliably
translate into precise motor execution: when faced with out-of-distribution
observations, policies often exhibit coherent intentions, but falter in action
execution. Moreover, finetuning on action data can erode the original VLM's
generalist reasoning abilities. We release our task suite and evaluation code
to serve as a standardized benchmark for future VLAs and to drive research on
closing the perception-to-action gap. More information, including the source
code, can be found at https://ai4ce.github.io/INT-ACT/