Emma-X: Een belichaamd multimodaal actiemodel met een gefundeerde keten van gedachten en vooruitkijkende ruimtelijke redenering.

Emma-X: An Embodied Multimodal Action Model with Grounded Chain of Thought and Look-ahead Spatial Reasoning

December 16, 2024

Auteurs: Qi Sun, Pengfei Hong, Tej Deep Pala, Vernon Toh, U-Xuan Tan, Deepanway Ghosal, Soujanya Poria

cs.AI

Samenvatting

Traditionele robotbesturingsmethoden op basis van reinforcement learning zijn vaak taakspecifiek en falen in generalisatie over diverse omgevingen of ongeziene objecten en instructies. Visuele Taalmodellen (VLM's) tonen sterke scènebegrip- en planningscapaciteiten, maar missen de mogelijkheid om actiegerichte beleidslijnen te genereren die zijn afgestemd op specifieke robotimplementaties. Om dit aan te pakken, zijn Visueel-Taal-Actie (VLA) modellen ontstaan, maar ze worden geconfronteerd met uitdagingen op het gebied van ruimtelijk redeneren op lange termijn en gefundeerde taakplanning. In dit werk stellen we het Geïncarneerde Multimodale Actiemodel met Gefundeerde Gedachteketen en Vooruitkijkend Ruimtelijk Redeneren, Emma-X, voor. Emma-X maakt gebruik van ons geconstrueerde hiërarchische implementatiedataset gebaseerd op BridgeV2, met 60.000 robotmanipulatietrajecten die automatisch zijn geannoteerd met gefundeerde taakredenering en ruimtelijke begeleiding. Daarnaast introduceren we een trajectsegmentatiestrategie op basis van grijperstanden en bewegingstrajecten, die kunnen helpen bij het verminderen van hallucinaties bij het genereren van gefundeerde subtaakredenering. Experimentele resultaten tonen aan dat Emma-X superieure prestaties behaalt ten opzichte van concurrerende baselines, met name in robotische taken in de echte wereld die ruimtelijk redeneren vereisen.

English

Traditional reinforcement learning-based robotic control methods are often task-specific and fail to generalize across diverse environments or unseen objects and instructions. Visual Language Models (VLMs) demonstrate strong scene understanding and planning capabilities but lack the ability to generate actionable policies tailored to specific robotic embodiments. To address this, Visual-Language-Action (VLA) models have emerged, yet they face challenges in long-horizon spatial reasoning and grounded task planning. In this work, we propose the Embodied Multimodal Action Model with Grounded Chain of Thought and Look-ahead Spatial Reasoning, Emma-X. Emma-X leverages our constructed hierarchical embodiment dataset based on BridgeV2, containing 60,000 robot manipulation trajectories auto-annotated with grounded task reasoning and spatial guidance. Additionally, we introduce a trajectory segmentation strategy based on gripper states and motion trajectories, which can help mitigate hallucination in grounding subtask reasoning generation. Experimental results demonstrate that Emma-X achieves superior performance over competitive baselines, particularly in real-world robotic tasks requiring spatial reasoning.