Omni-DuplexEval: リアルタイム双方向全モーダル対話の評価

要旨

実世界のシナリオで動作するマルチモーダルAIシステムにとって、ストリーミング入力を継続的に処理し、適切なタイミングで応答するリアルタイム双方向対話は不可欠である。しかし、既存のマルチモーダル大規模言語モデル（MLLMs）の大半はオフライン設定で評価されており、全映像入力を処理してから応答を生成する。最近の研究でリアルタイム双方向MLLMの探求が始まっているものの、この設定に対する包括的なベンチマークや自動評価手法は未だ存在しない。このギャップを埋めるため、我々はリアルタイム双方向対話を体系的に評価するベンチマーク「Omni-DuplexEval」を提案する。本ベンチマークは、以下の2つの補完的なシナリオで構成される：（1）リアルタイム記述：時々刻々と変化するマルチモーダル入力を追跡し、時間的に整合した連続応答を生成する能力を評価。（2）プロアクティブリマインダー：顕著なイベントを特定し、適切なタイミングで応答する能力を評価。Omni-DuplexEvalは、660本の動画に細粒度の人手アノテーションラベルと精密な時間メタデータを付与し、実世界シナリオに基づく9タスクを網羅する。すべての問題はオープンエンド形式である。さらに、LLM-as-a-Judgeに基づく自動評価フレームワークを導入する。これは、応答内容の整合性と応答タイミングをタイムスタンプ認識と逐次推論により同時評価し、人間の判断と高い一致を示す。最先端の双方向MLLMを用いた実験では、顕著な限界が明らかになった。最高性能モデルでも全体スコアは39.6%にとどまり、プロアクティブリマインダーでは20.0%であった。分析により、2つの主要課題が特定された：モデルはタイムリーな応答と首尾一貫した全体的な内容生成のバランスに苦慮し、また「いつ応答すべきか」と「何を生成すべきか」の両方を判断できていない。本研究がMLLMのさらなる進展に貢献することを期待する。

English

Real-time duplex interaction is essential for multimodal AI systems operating in real-world scenarios, where models must continuously process streaming inputs and respond at appropriate moments. However, most existing multimodal large language models (MLLMs) are evaluated in offline settings, where the entire video input is processed before any response is generated. While recent work has started to explore real-time duplex MLLMs, there is still no comprehensive benchmark or automatic evaluation method for this setting. To address this gap, we propose Omni-DuplexEval, a benchmark for systematically evaluating real-time duplex interaction. The benchmark consists of two complementary scenarios: (1) Real-Time Description, which evaluates the ability to generate continuous, time-aligned responses that track evolving multimodal inputs, and (2) Proactive Reminder, which evaluates the ability to identify salient events and respond at appropriate moments. Omni-DuplexEval contains 660 videos with fine-grained, human-annotated labels and precise temporal metadata, spanning 9 tasks grounded in real-world scenarios, where all questions are formulated as open-ended queries. We further introduce an automatic evaluation framework based on LLM-as-a-Judge, which enables systematic assessment by jointly evaluating response-content alignment and response timing through timestamp-aware and sequential reasoning, achieving strong alignment with human judgments. Experiments on state-of-the-art duplex MLLMs reveal substantial limitations. The best-performing model achieves only 39.6% overall, while scoring only 20.0% on Proactive Reminder. Our analysis identifies two key challenges: models struggle to balance timely responses with coherent, holistic content generation, and they often fail to determine both when to respond and what to produce. We hope our work facilitates further progress in MLLMs.