RoboOmni: Proactieve Robotmanipulatie in een Omni-modale Context

RoboOmni: Proactive Robot Manipulation in Omni-modal Context

October 27, 2025

Auteurs: Siyin Wang, Jinlan Fu, Feihong Liu, Xinzhe He, Huangxuan Wu, Junhao Shi, Kexin Huang, Zhaoye Fei, Jingjing Gong, Zuxuan Wu, Yugang Jiang, See-Kiong Ng, Tat-Seng Chua, Xipeng Qiu

cs.AI

Samenvatting

Recente vooruitgang in Multimodale Large Language Models (MLLM's) heeft een snelle ontwikkeling aangewakkerd in Visie-Taal-Actie (VTA) modellen voor robotmanipulatie. Hoewel effectief in veel scenario's, baseren huidige methoden zich grotendeels op expliciete instructies, terwijl mensen in real-world interacties zelden directe opdrachten geven. Effectieve samenwerking vereist dat robots gebruikersintenties proactief kunnen afleiden. In dit werk introduceren we cross-modale contextuele instructies, een nieuwe setting waarin de intentie wordt afgeleid uit gesproken dialoog, omgevingsgeluiden en visuele aanwijzingen in plaats van expliciete commando's. Om deze nieuwe setting aan te pakken, presenteren we RoboOmni, een Perceiver-Thinker-Talker-Executor raamwerk gebaseerd op end-to-end omnimodale LLM's die intentieherkenning, interactiebevestiging en actie-uitvoering verenigt. RoboOmni voegt auditieve en visuele signalen spatiotemporeel samen voor robuuste intentieherkenning, terwijl het directe spraakinteractie ondersteunt. Om het gebrek aan trainingsdata voor proactieve intentieherkenning in robotmanipulatie aan te pakken, bouwden we OmniAction, bestaande uit 140k episodes, 5k+ sprekers, 2.4k gebeurtenisgeluiden, 640 achtergronden en zes contextuele instructietypes. Experimenten in simulatie en real-world settings tonen aan dat RoboOmni op tekst en spraakherkenning (ASR) gebaseerde referentiemodellen overtreft in slagingspercentage, inferentiesnelheid, intentieherkenning en proactieve assistentie.

English

Recent advances in Multimodal Large Language Models (MLLMs) have driven rapid progress in Vision-Language-Action (VLA) models for robotic manipulation. Although effective in many scenarios, current approaches largely rely on explicit instructions, whereas in real-world interactions, humans rarely issue instructions directly. Effective collaboration requires robots to infer user intentions proactively. In this work, we introduce cross-modal contextual instructions, a new setting where intent is derived from spoken dialogue, environmental sounds, and visual cues rather than explicit commands. To address this new setting, we present RoboOmni, a Perceiver-Thinker-Talker-Executor framework based on end-to-end omni-modal LLMs that unifies intention recognition, interaction confirmation, and action execution. RoboOmni fuses auditory and visual signals spatiotemporally for robust intention recognition, while supporting direct speech interaction. To address the absence of training data for proactive intention recognition in robotic manipulation, we build OmniAction, comprising 140k episodes, 5k+ speakers, 2.4k event sounds, 640 backgrounds, and six contextual instruction types. Experiments in simulation and real-world settings show that RoboOmni surpasses text- and ASR-based baselines in success rate, inference speed, intention recognition, and proactive assistance.