Les robots ont besoin de plus que des modèles VLA et des modèles du monde.

Résumé

L'intelligence robotique généraliste est souvent présentée comme un problème de mise à l'échelle des politiques : collecter davantage de démonstrations robotiques, entraîner des modèles Vision-Langage-Action (VLA) plus grands, et s'attendre à une généralisation plus large. Dans cet article de position, nous soutenons que ce cadrage est incomplet. Le goulot d'étranglement central ne réside pas seulement dans l'apprentissage des politiques, mais dans l'absence de mécanismes permettant de convertir les données comportementales non structurées abondantes du monde en supervision robotique incarnée. Les mouvements humains, les vidéos internet, les déroulements de simulation et les démonstrations interactives contiennent des informations riches sur les tâches, les objectifs, les contacts, les échecs et les contraintes physiques, mais la plupart de ces informations ne sont pas directement exploitables par les politiques robotiques car elles manquent d'étiquettes d'action spécifiques à l'incarnation, de sémantique de tâche et de structure de récompense. Nous identifions quatre composants manquants pour la prochaine génération de robotique : des interfaces de données pour l'étiquetage automatique du comportement non structuré, des interfaces d'incarnation pour le reciblage des mouvements humains vers des actions robotiques, des interfaces de modèle du monde pour un raisonnement 3D ancré dans la physique, et des interfaces de récompense pour inférer la progression et le succès des tâches à partir de vidéos et de langage. Nous passons en revue les progrès récents dans les modèles fondamentaux de robotique, les ensembles de données inter-incarnations, l'apprentissage à partir de vidéos, les modèles du monde et la modélisation des récompenses, et proposons un agenda de recherche pour construire des systèmes robotiques capables d'apprendre non seulement à partir de démonstrations robotiques, mais aussi à partir du monde physique plus large.

English

Generalist robot intelligence is often framed as a policy-scaling problem: collect more robot demonstrations, train larger Vision-Language-Action (VLA) models, and expect broader generalisation. In this position paper, we argue that this framing is incomplete. The central bottleneck is not only policy learning, but the absence of mechanisms that convert the world's abundant unstructured behavioural data into grounded robot supervision. Human motion, internet video, simulation rollouts, and interactive demonstrations contain rich information about tasks, goals, contacts, failures, and physical constraints, yet most of this information is not directly usable by robot policies because it lacks embodiment-specific action labels, task semantics, and reward structure. We identify four missing components for the next generation of robotics: data interfaces for autolabelling unstructured behaviour, embodiment interfaces for retargeting human motion to robot actions, world-model interfaces for physics-grounded 3D reasoning, and reward interfaces for inferring task progress and success from video and language. We survey recent progress in robot foundation models, cross-embodiment datasets, learning from video, world models, and reward modelling, and propose a research agenda for building robotics systems that can learn not only from robot demonstrations, but from the broader physical world.