RoboOmni : Manipulation robotique proactive en contexte omni-modal

RoboOmni: Proactive Robot Manipulation in Omni-modal Context

October 27, 2025

papers.authors: Siyin Wang, Jinlan Fu, Feihong Liu, Xinzhe He, Huangxuan Wu, Junhao Shi, Kexin Huang, Zhaoye Fei, Jingjing Gong, Zuxuan Wu, Yugang Jiang, See-Kiong Ng, Tat-Seng Chua, Xipeng Qiu

cs.AI

papers.abstract

Les récentes avancées des modèles de langage multimodaux (MLLM) ont accéléré le développement des modèles vision-langage-action (VLA) pour la manipulation robotique. Bien qu'efficaces dans de nombreux scénarios, les approches actuelles reposent largement sur des instructions explicites, alors que dans les interactions réelles, les humains donnent rarement des instructions directes. Une collaboration efficace exige que les robots infèrent les intentions des utilisateurs de manière proactive. Dans ce travail, nous introduisons les instructions contextuelles multimodales, un nouveau cadre où l'intention est déduite du dialogue oral, des sons environnementaux et des indices visuels plutôt que de commandes explicites. Pour répondre à ce nouveau paradigme, nous présentons RoboOmni, un framework Percevoir-Penser-Parler-Exécuter basé sur des LLM omni-modaux de bout en bout qui unifie la reconnaissance d'intention, la confirmation interactive et l'exécution d'actions. RoboOmni fusionne spatio-temporellement les signaux auditifs et visuels pour une reconnaissance d'intention robuste, tout en permettant une interaction vocale directe. Pour pallier l'absence de données d'entraînement pour la reconnaissance proactive d'intention en manipulation robotique, nous créons OmniAction, comprenant 140 000 épisodes, plus de 5 000 locuteurs, 2 400 sons d'événements, 640 arrière-plans et six types d'instructions contextuelles. Les expériences en simulation et en conditions réelles montrent que RoboOmni surpasse les approches basées sur le texte et la reconnaissance automatique de la parole en taux de réussite, vitesse d'inférence, reconnaissance d'intention et assistance proactive.

English

Recent advances in Multimodal Large Language Models (MLLMs) have driven rapid progress in Vision-Language-Action (VLA) models for robotic manipulation. Although effective in many scenarios, current approaches largely rely on explicit instructions, whereas in real-world interactions, humans rarely issue instructions directly. Effective collaboration requires robots to infer user intentions proactively. In this work, we introduce cross-modal contextual instructions, a new setting where intent is derived from spoken dialogue, environmental sounds, and visual cues rather than explicit commands. To address this new setting, we present RoboOmni, a Perceiver-Thinker-Talker-Executor framework based on end-to-end omni-modal LLMs that unifies intention recognition, interaction confirmation, and action execution. RoboOmni fuses auditory and visual signals spatiotemporally for robust intention recognition, while supporting direct speech interaction. To address the absence of training data for proactive intention recognition in robotic manipulation, we build OmniAction, comprising 140k episodes, 5k+ speakers, 2.4k event sounds, 640 backgrounds, and six contextual instruction types. Experiments in simulation and real-world settings show that RoboOmni surpasses text- and ASR-based baselines in success rate, inference speed, intention recognition, and proactive assistance.