MA-EgoQA：複数の身体化エージェントによるエゴセントリック動画への質問応答

MA-EgoQA: Question Answering over Egocentric Videos from Multiple Embodied Agents

March 10, 2026

著者: Kangsan Kim, Yanlai Yang, Suji Kim, Woongyeong Yeo, Youngwan Lee, Mengye Ren, Sung Ju Hwang

cs.AI

要旨

具体化されたAIモデルが高度化するにつれ、将来的には職場や家庭において人間が複数の具体化AIエージェントと協働するようになる。人間ユーザーとマルチエージェントシステム間の円滑なコミュニケーションを確保するためには、エージェントから並行して送信される情報を解釈し、各クエリに適切な文脈を参照することが極めて重要である。現状の課題としては、ビデオ形式の個別の感覚入力を効果的に圧縮・伝達すること、および複数のエゴセントリックビデオを適切に統合してシステムレベルのメモリを構築することが挙げられる。本研究ではまず、具体化エージェントから同時収集された複数の長尺エゴセントリックビデオを理解する新規問題を正式に定義する。この方向性の研究を促進するため、当該シナリオにおける既存モデルを体系的に評価するベンチマークMultiAgent-EgoQA（MA-EgoQA）を提案する。MA-EgoQAは、社会的相互作用、タスク調整、心の理論、時間推論、環境相互作用の5カテゴリにわたる、複数エゴセントリックストリームに特有の1.7kの質問を提供する。さらに、エージェント間の共有メモリとエージェント単位の動的検索を活用するEgoMASというシンプルなベースラインモデルを提案する。MA-EgoQAにおける多様なベースラインとEgoMASの包括的評価を通じて、現在のアプローチでは複数のエゴセントリックストリームを効果的に処理できないことが明らかとなり、エージェント横断的なシステムレベルの理解における今後の進展の必要性が浮き彫りとなった。コードとベンチマークはhttps://ma-egoqa.github.ioで公開されている。

English

As embodied models become powerful, humans will collaborate with multiple embodied AI agents at their workplace or home in the future. To ensure better communication between human users and the multi-agent system, it is crucial to interpret incoming information from agents in parallel and refer to the appropriate context for each query. Existing challenges include effectively compressing and communicating high volumes of individual sensory inputs in the form of video and correctly aggregating multiple egocentric videos to construct system-level memory. In this work, we first formally define a novel problem of understanding multiple long-horizon egocentric videos simultaneously collected from embodied agents. To facilitate research in this direction, we introduce MultiAgent-EgoQA (MA-EgoQA), a benchmark designed to systemically evaluate existing models in our scenario. MA-EgoQA provides 1.7k questions unique to multiple egocentric streams, spanning five categories: social interaction, task coordination, theory-of-mind, temporal reasoning, and environmental interaction. We further propose a simple baseline model for MA-EgoQA named EgoMAS, which leverages shared memory across embodied agents and agent-wise dynamic retrieval. Through comprehensive evaluation across diverse baselines and EgoMAS on MA-EgoQA, we find that current approaches are unable to effectively handle multiple egocentric streams, highlighting the need for future advances in system-level understanding across the agents. The code and benchmark are available at https://ma-egoqa.github.io.