OmniAssistBench：オムニLLMのためのアシスタント形式インタラクション・ベンチマーク

要旨

近年のオムニモーダル大規模言語モデル（Omni-LLM）は、環境を継続的に認識し、ユーザーを特定の目標達成へ導くリアルタイムビデオアシスタントとして大きな可能性を示している。従来の受動的なビデオ理解とは異なり、対話型アシスタントは視覚的状態、ユーザーの目標、事前知識を能動的に組み合わせて効果的な支援を提供すべきである。この評価は極めて困難である。なぜなら、モデルの予測不能な応答によってユーザーのその後の行動が動的に変化するため、静的なオフラインデータセットでは対応できないからである。このボトルネックに対処するため、我々はOmniAssistBenchを導入する。同一のユーザー目標が様々な方法で達成され得るという対話経路の分岐問題を解決するため、我々はモデルにソースビデオから導出された事前定義の事前知識を提供し、ユーザーを正確に同一経路に沿って導くことを要求する。実際の対話ビデオは稀少であるため、我々は既存のインターネットビデオをリバースエンジニアリングしてデータセットを構築した。我々は論理的なユーザー目標を推定し、ビデオをマルチターンのクリップ群に分割して連続的な対話を模擬した。この厳密なパイプラインには、データセット構築に1000時間以上の専門家工数を要した。実験結果によると、専有モデルのGemini-3-Proは最高点100点中66.4点に達したのに対し、オープンソースのQwen3-Omni-Instructは51.2点を達成した。現在のモデルはユーザーの入力を概ね理解しているものの、誤ったまたは不完全な回答を頻繁に提供する。具体的には、視覚的プロンプト（例：手のジェスチャー）に苦慮し、マルチターン対話中に履歴コンテキストを維持できず、対象イベントまで応答を遅延させることができない。これらの結果は、モデルが信頼性の高いアシスタントとなるまでに、依然として大きな改善の余地があることを示している。

English

Recent omni-modal large language models (Omni-LLMs) show great potential as real-time video assistants, which continuously perceive environments and guide users to achieve specific goals. Unlike traditional passive video understanding, interactive assistants should actively combine visual states, user goals, and prior knowledge to provide effective help. Evaluating this is rather challenging, as the model's unpredictable response dynamically changes the user's subsequent actions, which static offline datasets cannot accommodate. To address this bottleneck, we introduce OmniAssistBench. To solve the issue of diverging interaction paths where the same user goal can be achieved through various methods, we provide models with predefined priors derived from the source video, requiring them to guide users along the exact same routes. Since real interaction videos are rare, we construct the dataset by reverse-engineering existing Internet videos. We deduce logical user goals and segment the videos into multi-turn clips to simulate continuous interactions. This rigorous pipeline required over 1000 expert person-hours to build the dataset. Results show that the proprietary Gemini-3-Pro reaches 66.4 out of the max point of 100, while the open-source Qwen3-Omni-Instruct achieves 51.2. Although current models generally understand user inputs, they frequently provide incorrect or incomplete answers. Specifically, they struggle with visual prompts (e.g., hand gestures), fail to maintain historical context during multi-turn interactions, and fail to delay response until the target event. Results indicate substantial room for improvement before models can become reliable assistants.