РобоОмни: Проактивное манипулирование роботов в омни-модальном контексте

RoboOmni: Proactive Robot Manipulation in Omni-modal Context

October 27, 2025

Авторы: Siyin Wang, Jinlan Fu, Feihong Liu, Xinzhe He, Huangxuan Wu, Junhao Shi, Kexin Huang, Zhaoye Fei, Jingjing Gong, Zuxuan Wu, Yugang Jiang, See-Kiong Ng, Tat-Seng Chua, Xipeng Qiu

cs.AI

Аннотация

Последние достижения в области многомодальных больших языковых моделей (MLLM) стимулировали быстрый прогресс в моделях «Зрение-Язык-Действие» (VLA) для роботизированного манипулирования. Несмотря на эффективность во многих сценариях, современные подходы в значительной степени опираются на явные инструкции, в то время как в реальном мире люди редко отдают команды напрямую. Для эффективного сотрудничества роботы должны уметь проактивно распознавать намерения пользователя. В данной работе мы представляем кросс-модальные контекстные инструкции — новый подход, в котором намерение извлекается из устного диалога, окружающих звуков и визуальных сигналов, а не из явных команд. Для решения этой задачи мы предлагаем RoboOmni — архитектуру «Восприниматель-Мыслитель-Спикер-Исполнитель» на основе сквозных омни-модальных LLM, которая объединяет распознавание намерений, подтверждение взаимодействия и выполнение действий. RoboOmni пространственно-временно объединяет аудиальные и визуальные сигналы для надежного распознавания намерений, поддерживая при этом прямое речевое взаимодействие. Для решения проблемы отсутствия обучающих данных для проактивного распознавания намерений в роботизированном манипулировании мы создали набор данных OmniAction, содержащий 140 тыс. эпизодов, более 5 тыс. дикторов, 2,4 тыс. звуков событий, 640 фоновых сцен и шесть типов контекстных инструкций. Эксперименты в симуляции и реальных условиях демонстрируют, что RoboOmni превосходит текстовые и ASR-базлайны по проценту успешных выполнений, скорости вывода, точности распознавания намерений и качеству проактивной помощи.

English

Recent advances in Multimodal Large Language Models (MLLMs) have driven rapid progress in Vision-Language-Action (VLA) models for robotic manipulation. Although effective in many scenarios, current approaches largely rely on explicit instructions, whereas in real-world interactions, humans rarely issue instructions directly. Effective collaboration requires robots to infer user intentions proactively. In this work, we introduce cross-modal contextual instructions, a new setting where intent is derived from spoken dialogue, environmental sounds, and visual cues rather than explicit commands. To address this new setting, we present RoboOmni, a Perceiver-Thinker-Talker-Executor framework based on end-to-end omni-modal LLMs that unifies intention recognition, interaction confirmation, and action execution. RoboOmni fuses auditory and visual signals spatiotemporally for robust intention recognition, while supporting direct speech interaction. To address the absence of training data for proactive intention recognition in robotic manipulation, we build OmniAction, comprising 140k episodes, 5k+ speakers, 2.4k event sounds, 640 backgrounds, and six contextual instruction types. Experiments in simulation and real-world settings show that RoboOmni surpasses text- and ASR-based baselines in success rate, inference speed, intention recognition, and proactive assistance.