StreamArena：連続的・対話的・長期的なエージェント的ストリーミング動画理解に向けて

要旨

自律型マルチモーダルエージェントを連続的な実世界環境に展開するには、無制限の音声・視覚ストリームを取り込み、時間規模のメモリを維持することが必要となる。しかしながら、現在の評価は主に短いクリップと多肢選択形式に依存している。この設計により、最後の4フレームのみを処理する最小限のベースラインが、複雑なストリーミングモデルに匹敵するか、それを上回ることさえ可能になり、さらに回答選択肢は言語的ショートカットを露呈させる。我々は、時間規模の対話型ストリーミングビデオ理解のためのベンチマークであるStreamArenaを紹介する。StreamArenaには、平均88.8分のフルレングス動画243本と、リアルタイム知覚、過去の振り返り、プロアクティブな対話、マルチモーダルツールの活用を評価する、厳密に注釈付けされた自由記述式の質問応答ペア3,646組が含まれる。多様なシステムにわたる評価は、継続的な対話と長期的なマルチモーダル理解との間の緊張関係を明らかにする。最近のフレームのみを保持する手法は遠い過去のイベントを復元できず、過去の観察をテキストに変換する手法は視覚的証拠を失い、視覚メモリを繰り返し圧縮する手法は時間の経過とともに細部を保持することに困難をきたす。我々はこの緊張関係に対処するため、StreamMindを提案する。StreamMindは2層アーキテクチャを採用し、レイテンシが重要な対話とプロアクティブな監視を、独立してスケジュールされるフロントエンドワーカーに割り当てる一方、バックエンドワーカーは非同期に永続的なマルチモーダルメモリを構築し、過去の想起と外部検索を実行する。StreamMindは、4つの能力すべてにおいて既存のストリーミングベースラインを上回り、永続状態を再利用することでクエリから回答までのレイテンシを削減する。

English

Deploying autonomous multimodal agents in continuous, real-world environments requires them to ingest unbounded audio-visual streams and maintain hour-scale memory. However, current evaluations predominantly rely on brief clips and multiple-choice formats. This design allows minimal baselines that process only the last four frames to match or surpass complex streaming models, while answer options also expose language shortcuts. We introduce StreamArena, a benchmark for hour-scale, interactive streaming video understanding. StreamArena contains 243 full-length videos averaging 88.8 minutes and 3,646 rigorously annotated, open-ended question-answer pairs that evaluate real-time perception, historical retrospection, proactive interaction, and multimodal tool utilization. Evaluation across diverse systems exposes a tension between continuous interaction and long-horizon multimodal comprehension. Methods that retain only recent frames cannot recover distant events, methods that convert past observations into text lose visual evidence, and methods that repeatedly compress visual memory struggle to preserve fine-grained details over time. We address this tension with StreamMind, a two-tier architecture that assigns latency-critical interaction and proactive monitoring to independently scheduled frontend workers, while backend workers asynchronously construct persistent multimodal memory and perform historical recall and external search. StreamMind outperforms existing streaming baselines across all four capabilities and reduces query-to-answer latency by reusing persistent state.