К воплощённому познанию в роботах через пространственно обоснованные синтетические миры

Towards Embodied Cognition in Robots via Spatially Grounded Synthetic Worlds

May 20, 2025

Авторы: Joel Currie, Gioele Migno, Enrico Piacenti, Maria Elena Giannaccini, Patric Bach, Davide De Tommaso, Agnieszka Wykowska

cs.AI

Аннотация

Мы представляем концептуальную основу для обучения моделей "Видение-Язык" (Vision-Language Models, VLMs) выполнению задачи визуального принятия перспективы (Visual Perspective Taking, VPT), которая является ключевой способностью для воплощённого познания, необходимого для взаимодействия человека и робота (Human-Robot Interaction, HRI). В качестве первого шага к этой цели мы представляем синтетический набор данных, созданный в NVIDIA Omniverse, который позволяет проводить обучение с учителем для задач пространственного рассуждения. Каждый экземпляр данных включает RGB-изображение, описание на естественном языке и матрицу преобразования 4x4, представляющую позу объекта. Мы сосредоточены на выводе расстояния по оси Z как базового навыка, с перспективой расширения на полное рассуждение в 6 степенях свободы (Degrees Of Freedom, DOFs). Набор данных доступен публично для поддержки дальнейших исследований. Эта работа служит основополагающим шагом на пути к созданию воплощённых систем ИИ, способных к пространственному пониманию в интерактивных сценариях взаимодействия человека и робота.

English

We present a conceptual framework for training Vision-Language Models (VLMs) to perform Visual Perspective Taking (VPT), a core capability for embodied cognition essential for Human-Robot Interaction (HRI). As a first step toward this goal, we introduce a synthetic dataset, generated in NVIDIA Omniverse, that enables supervised learning for spatial reasoning tasks. Each instance includes an RGB image, a natural language description, and a ground-truth 4X4 transformation matrix representing object pose. We focus on inferring Z-axis distance as a foundational skill, with future extensions targeting full 6 Degrees Of Freedom (DOFs) reasoning. The dataset is publicly available to support further research. This work serves as a foundational step toward embodied AI systems capable of spatial understanding in interactive human-robot scenarios.