Emma-X: 根拠付きの思考連鎖と先読み空間推論を持つ具現化された多様な行動モデル

Emma-X: An Embodied Multimodal Action Model with Grounded Chain of Thought and Look-ahead Spatial Reasoning

December 16, 2024

著者: Qi Sun, Pengfei Hong, Tej Deep Pala, Vernon Toh, U-Xuan Tan, Deepanway Ghosal, Soujanya Poria

cs.AI

要旨

従来の強化学習ベースのロボット制御手法は、しばしば特定のタスクに特化しており、多様な環境や未知の物体や指示に一般化できないことがあります。ビジュアル言語モデル（VLM）は、強力なシーン理解と計画能力を示す一方で、特定のロボットの具現化に適した実行可能なポリシーを生成する能力に欠けています。この課題に対処するために、ビジュアル言語アクション（VLA）モデルが登場していますが、長期の空間推論や具体的なタスク計画において課題に直面しています。本研究では、BridgeV2に基づく階層的具現化データセットを活用した、具体的な思考と先読み空間推論を持つ具体的多モーダルアクションモデル、Emma-Xを提案します。Emma-Xは、60,000のロボット操作軌跡を含む自動注釈付きの具体的なタスク推論と空間ガイダンスを備えたデータセットを活用しています。さらに、グリッパーの状態と動きの軌跡に基づく軌跡セグメンテーション戦略を導入し、サブタスク推論生成における幻覚を軽減するのに役立ちます。実験結果は、Emma-Xが競合するベースラインに比べて、特に空間推論を必要とする実世界のロボットタスクにおいて優れた性能を達成することを示しています。

English

Traditional reinforcement learning-based robotic control methods are often task-specific and fail to generalize across diverse environments or unseen objects and instructions. Visual Language Models (VLMs) demonstrate strong scene understanding and planning capabilities but lack the ability to generate actionable policies tailored to specific robotic embodiments. To address this, Visual-Language-Action (VLA) models have emerged, yet they face challenges in long-horizon spatial reasoning and grounded task planning. In this work, we propose the Embodied Multimodal Action Model with Grounded Chain of Thought and Look-ahead Spatial Reasoning, Emma-X. Emma-X leverages our constructed hierarchical embodiment dataset based on BridgeV2, containing 60,000 robot manipulation trajectories auto-annotated with grounded task reasoning and spatial guidance. Additionally, we introduce a trajectory segmentation strategy based on gripper states and motion trajectories, which can help mitigate hallucination in grounding subtask reasoning generation. Experimental results demonstrate that Emma-X achieves superior performance over competitive baselines, particularly in real-world robotic tasks requiring spatial reasoning.