ロボットにおける身体化認知に向けて：空間的に基盤づけられた合成世界を通じて

Towards Embodied Cognition in Robots via Spatially Grounded Synthetic Worlds

May 20, 2025

著者: Joel Currie, Gioele Migno, Enrico Piacenti, Maria Elena Giannaccini, Patric Bach, Davide De Tommaso, Agnieszka Wykowska

cs.AI

要旨

本論文では、視覚言語モデル（VLM）を訓練し、視点取得（VPT）を実行するための概念的フレームワークを提案します。VPTは、人間-ロボットインタラクション（HRI）において重要な、具現化された認知の中核的な能力です。この目標に向けた第一歩として、NVIDIA Omniverseで生成された合成データセットを導入し、空間推論タスクのための教師あり学習を可能にします。各インスタンスには、RGB画像、自然言語による記述、およびオブジェクトの姿勢を表す4X4の変換行列が含まれています。我々は、Z軸距離の推論を基礎的なスキルとして焦点を当て、将来的には完全な6自由度（DOFs）の推論を目指します。このデータセットは、さらなる研究を支援するために公開されています。本研究は、インタラクティブな人間-ロボットシナリオにおいて空間理解が可能な具現化AIシステムに向けた基礎的な一歩となります。

English

We present a conceptual framework for training Vision-Language Models (VLMs) to perform Visual Perspective Taking (VPT), a core capability for embodied cognition essential for Human-Robot Interaction (HRI). As a first step toward this goal, we introduce a synthetic dataset, generated in NVIDIA Omniverse, that enables supervised learning for spatial reasoning tasks. Each instance includes an RGB image, a natural language description, and a ground-truth 4X4 transformation matrix representing object pose. We focus on inferring Z-axis distance as a foundational skill, with future extensions targeting full 6 Degrees Of Freedom (DOFs) reasoning. The dataset is publicly available to support further research. This work serves as a foundational step toward embodied AI systems capable of spatial understanding in interactive human-robot scenarios.