RoboOmni: Manipulação Robótica Proativa em Contexto Omni-modal

RoboOmni: Proactive Robot Manipulation in Omni-modal Context

October 27, 2025

Autores: Siyin Wang, Jinlan Fu, Feihong Liu, Xinzhe He, Huangxuan Wu, Junhao Shi, Kexin Huang, Zhaoye Fei, Jingjing Gong, Zuxuan Wu, Yugang Jiang, See-Kiong Ng, Tat-Seng Chua, Xipeng Qiu

cs.AI

Resumo

Os recentes avanços nos Modelos de Linguagem Multimodais (MLLMs) têm impulsionado progressos rápidos nos modelos Visão-Linguagem-Ação (VLA) para manipulação robótica. Embora eficazes em muitos cenários, as abordagens atuais dependem amplamente de instruções explícitas, enquanto, nas interações do mundo real, os humanos raramente emitem instruções diretamente. Uma colaboração eficaz exige que os robôs infiram as intenções do usuário de forma proativa. Neste trabalho, introduzimos as instruções contextuais multimodais, uma nova configuração em que a intenção é derivada do diálogo falado, sons ambientais e pistas visuais, em vez de comandos explícitos. Para abordar essa nova configuração, apresentamos o RoboOmni, uma estrutura Perceptor-Pensador-Falador-Executor baseada em LLMs omni-modais de ponta a ponta que unifica o reconhecimento de intenção, a confirmação de interação e a execução de ações. O RoboOmni funde sinais auditivos e visuais espaço-temporalmente para um reconhecimento de intenção robusto, enquanto suporta interação direta por fala. Para lidar com a ausência de dados de treinamento para reconhecimento proativo de intenção na manipulação robótica, construímos o OmniAction, compreendendo 140 mil episódios, mais de 5 mil falantes, 2,4 mil sons de eventos, 640 cenários de fundo e seis tipos de instruções contextuais. Experimentos em ambientes de simulação e do mundo real mostram que o RoboOmni supera as linhas de base baseadas em texto e ASR em taxa de sucesso, velocidade de inferência, reconhecimento de intenção e assistência proativa.

English

Recent advances in Multimodal Large Language Models (MLLMs) have driven rapid progress in Vision-Language-Action (VLA) models for robotic manipulation. Although effective in many scenarios, current approaches largely rely on explicit instructions, whereas in real-world interactions, humans rarely issue instructions directly. Effective collaboration requires robots to infer user intentions proactively. In this work, we introduce cross-modal contextual instructions, a new setting where intent is derived from spoken dialogue, environmental sounds, and visual cues rather than explicit commands. To address this new setting, we present RoboOmni, a Perceiver-Thinker-Talker-Executor framework based on end-to-end omni-modal LLMs that unifies intention recognition, interaction confirmation, and action execution. RoboOmni fuses auditory and visual signals spatiotemporally for robust intention recognition, while supporting direct speech interaction. To address the absence of training data for proactive intention recognition in robotic manipulation, we build OmniAction, comprising 140k episodes, 5k+ speakers, 2.4k event sounds, 640 backgrounds, and six contextual instruction types. Experiments in simulation and real-world settings show that RoboOmni surpasses text- and ASR-based baselines in success rate, inference speed, intention recognition, and proactive assistance.