Роботам требуется не только VLA и мировые модели

Аннотация

Обобщённый роботизированный интеллект часто рассматривается как проблема масштабирования политик: собирать больше демонстраций роботов, обучать более крупные модели «Vision-Language-Action» (VLA) и ожидать более широкого обобщения. В этой позиционной статье мы утверждаем, что такая постановка неполна. Основное узкое место заключается не только в обучении политикам, но и в отсутствии механизмов, преобразующих изобилие неструктурированных поведенческих данных из реального мира в обоснованное роботизированное обучение с учителем. Движения человека, видео из интернета, прогоны симуляции и интерактивные демонстрации содержат богатую информацию о задачах, целях, контактах, отказах и физических ограничениях, однако большая часть этой информации не может быть напрямую использована политиками роботов из-за отсутствия специфических для воплощения меток действий, семантики задач и структуры вознаграждения. Мы выделяем четыре недостающих компонента для робототехники следующего поколения: интерфейсы данных для автоматической разметки неструктурированного поведения, интерфейсы воплощения для перенацеливания движений человека на действия робота, интерфейсы мировых моделей для обоснованного физикой 3D-рассуждения и интерфейсы вознаграждения для вывода о ходе и успешности задачи на основе видео и языка. Мы рассматриваем недавние достижения в области фундаментальных моделей роботов, кроссивоплощённых наборов данных, обучения по видео, мировых моделей и моделирования вознаграждений, а также предлагаем исследовательскую программу для построения робототехнических систем, способных обучаться не только на демонстрациях роботов, но и на основе более широкого физического мира.

English

Generalist robot intelligence is often framed as a policy-scaling problem: collect more robot demonstrations, train larger Vision-Language-Action (VLA) models, and expect broader generalisation. In this position paper, we argue that this framing is incomplete. The central bottleneck is not only policy learning, but the absence of mechanisms that convert the world's abundant unstructured behavioural data into grounded robot supervision. Human motion, internet video, simulation rollouts, and interactive demonstrations contain rich information about tasks, goals, contacts, failures, and physical constraints, yet most of this information is not directly usable by robot policies because it lacks embodiment-specific action labels, task semantics, and reward structure. We identify four missing components for the next generation of robotics: data interfaces for autolabelling unstructured behaviour, embodiment interfaces for retargeting human motion to robot actions, world-model interfaces for physics-grounded 3D reasoning, and reward interfaces for inferring task progress and success from video and language. We survey recent progress in robot foundation models, cross-embodiment datasets, learning from video, world models, and reward modelling, and propose a research agenda for building robotics systems that can learn not only from robot demonstrations, but from the broader physical world.