Modèles Vision-Langage-Action : Concepts, Progrès, Applications et Défis

Vision-Language-Action Models: Concepts, Progress, Applications and Challenges

May 7, 2025

Auteurs: Ranjan Sapkota, Yang Cao, Konstantinos I. Roumeliotis, Manoj Karkee

cs.AI

Résumé

Les modèles Vision-Langage-Action (VLA) représentent une avancée transformative dans le domaine de l'intelligence artificielle, visant à unifier la perception, la compréhension du langage naturel et l'action incarnée au sein d'un même cadre computationnel. Cette revue fondamentale présente une synthèse exhaustive des récents progrès dans les modèles VLA, systématiquement organisée autour de cinq piliers thématiques qui structurent le paysage de ce domaine en évolution rapide. Nous commençons par établir les fondements conceptuels des systèmes VLA, retraçant leur évolution depuis les architectures d'apprentissage intermodal jusqu'aux agents généralistes qui intègrent étroitement les modèles vision-langage (VLM), les planificateurs d'actions et les contrôleurs hiérarchiques. Notre méthodologie adopte un cadre rigoureux de revue de la littérature, couvrant plus de 80 modèles VLA publiés au cours des trois dernières années. Les domaines clés de progrès incluent les innovations architecturales, les stratégies d'entraînement à paramètres efficaces et les accélérations d'inférence en temps réel. Nous explorons divers domaines d'application tels que la robotique humanoïde, les véhicules autonomes, la robotique médicale et industrielle, l'agriculture de précision et la navigation en réalité augmentée. La revue aborde également les principaux défis liés au contrôle en temps réel, à la représentation multimodale des actions, à l'évolutivité des systèmes, à la généralisation à des tâches inédites et aux risques éthiques de déploiement. En nous appuyant sur l'état de l'art, nous proposons des solutions ciblées, notamment l'adaptation de l'IA agentique, la généralisation inter-embodiment et la planification neuro-symbolique unifiée. Dans notre discussion prospective, nous esquissons une feuille de route future où les modèles VLA, les VLM et l'IA agentique convergent pour alimenter des agents incarnés socialement alignés, adaptatifs et polyvalents. Ce travail sert de référence fondamentale pour faire progresser la robotique intelligente en contexte réel et l'intelligence artificielle générale. >Vision-langage-action, IA agentique, Agents IA, Modèles vision-langage

English

Vision-Language-Action (VLA) models mark a transformative advancement in artificial intelligence, aiming to unify perception, natural language understanding, and embodied action within a single computational framework. This foundational review presents a comprehensive synthesis of recent advancements in Vision-Language-Action models, systematically organized across five thematic pillars that structure the landscape of this rapidly evolving field. We begin by establishing the conceptual foundations of VLA systems, tracing their evolution from cross-modal learning architectures to generalist agents that tightly integrate vision-language models (VLMs), action planners, and hierarchical controllers. Our methodology adopts a rigorous literature review framework, covering over 80 VLA models published in the past three years. Key progress areas include architectural innovations, parameter-efficient training strategies, and real-time inference accelerations. We explore diverse application domains such as humanoid robotics, autonomous vehicles, medical and industrial robotics, precision agriculture, and augmented reality navigation. The review further addresses major challenges across real-time control, multimodal action representation, system scalability, generalization to unseen tasks, and ethical deployment risks. Drawing from the state-of-the-art, we propose targeted solutions including agentic AI adaptation, cross-embodiment generalization, and unified neuro-symbolic planning. In our forward-looking discussion, we outline a future roadmap where VLA models, VLMs, and agentic AI converge to power socially aligned, adaptive, and general-purpose embodied agents. This work serves as a foundational reference for advancing intelligent, real-world robotics and artificial general intelligence. >Vision-language-action, Agentic AI, AI Agents, Vision-language Models