Omni-DuplexEval: Оценка дуплексного омнимодального взаимодействия в реальном времени

Аннотация

Взаимодействие в реальном времени в дуплексном режиме необходимо для мультимодальных систем ИИ, работающих в реальных сценариях, где модели должны непрерывно обрабатывать потоковые входные данные и реагировать в подходящие моменты. Однако большинство существующих мультимодальных больших языковых моделей (MLLM) оцениваются в автономных условиях, когда весь видеовход обрабатывается до генерации какого-либо ответа. Хотя недавние работы начали исследовать MLLM с дуплексным взаимодействием в реальном времени, до сих пор отсутствует комплексный бенчмарк или метод автоматической оценки для такого режима. Для заполнения этого пробела мы предлагаем Omni-DuplexEval — бенчмарк для систематической оценки взаимодействия в реальном времени в дуплексном режиме. Бенчмарк состоит из двух дополняющих друг друга сценариев: (1) Описание в реальном времени, которое оценивает способность генерировать непрерывные, синхронизированные по времени ответы, отслеживающие изменяющиеся мультимодальные входные данные, и (2) Упреждающее напоминание, которое оценивает способность выявлять значимые события и реагировать в подходящие моменты. Omni-DuplexEval содержит 660 видео с детальными размеченными вручную метками и точными временными метаданными, охватывая 9 задач, основанных на реальных сценариях, где все вопросы сформулированы как открытые запросы. Мы также представляем автоматическую структуру оценки на основе использования LLM в качестве судьи, которая обеспечивает систематическую оценку путем совместного анализа соответствия ответа содержанию и времени ответа с учетом временных меток и последовательного рассуждения, достигая сильного согласия с человеческими оценками. Эксперименты с современными дуплексными MLLM выявляют существенные ограничения. Лучшая модель достигает лишь 39,6% общего показателя, а по Упреждающему напоминанию — всего 20,0%. Наш анализ выявляет две ключевые проблемы: модели с трудом балансируют между своевременными ответами и связной, целостной генерацией контента, и часто не могут определить как время ответа, так и его содержание. Мы надеемся, что наша работа будет способствовать дальнейшему прогрессу в области MLLM.

English

Real-time duplex interaction is essential for multimodal AI systems operating in real-world scenarios, where models must continuously process streaming inputs and respond at appropriate moments. However, most existing multimodal large language models (MLLMs) are evaluated in offline settings, where the entire video input is processed before any response is generated. While recent work has started to explore real-time duplex MLLMs, there is still no comprehensive benchmark or automatic evaluation method for this setting. To address this gap, we propose Omni-DuplexEval, a benchmark for systematically evaluating real-time duplex interaction. The benchmark consists of two complementary scenarios: (1) Real-Time Description, which evaluates the ability to generate continuous, time-aligned responses that track evolving multimodal inputs, and (2) Proactive Reminder, which evaluates the ability to identify salient events and respond at appropriate moments. Omni-DuplexEval contains 660 videos with fine-grained, human-annotated labels and precise temporal metadata, spanning 9 tasks grounded in real-world scenarios, where all questions are formulated as open-ended queries. We further introduce an automatic evaluation framework based on LLM-as-a-Judge, which enables systematic assessment by jointly evaluating response-content alignment and response timing through timestamp-aware and sequential reasoning, achieving strong alignment with human judgments. Experiments on state-of-the-art duplex MLLMs reveal substantial limitations. The best-performing model achieves only 39.6% overall, while scoring only 20.0% on Proactive Reminder. Our analysis identifies two key challenges: models struggle to balance timely responses with coherent, holistic content generation, and they often fail to determine both when to respond and what to produce. We hope our work facilitates further progress in MLLMs.