MA-EgoQA: Risposte a Domande su Video Egocentrici da Parte di Molteplici Agenti Incorporati
MA-EgoQA: Question Answering over Egocentric Videos from Multiple Embodied Agents
March 10, 2026
Autori: Kangsan Kim, Yanlai Yang, Suji Kim, Woongyeong Yeo, Youngwan Lee, Mengye Ren, Sung Ju Hwang
cs.AI
Abstract
Man mano che i modelli embodied acquisiscono maggiore potenza, in futuro gli esseri umani collaboreranno con molteplici agenti di IA embodied nei propri luoghi di lavoro o nelle abitazioni. Per garantire una comunicazione efficace tra gli utenti umani e il sistema multi-agente, è cruciale interpretare in parallelo le informazioni in arrivo dagli agenti e fare riferimento al contesto appropriato per ogni query. Le sfide esistenti includono la compressione e la comunicazione efficace di grandi volumi di input sensoriali individuali sotto forma di video e l'aggregazione corretta di più video egocentrici per costruire una memoria a livello di sistema. In questo lavoro, definiamo prima formalmente un nuovo problema relativo alla comprensione di più video egocentrici a lungo orizzonte raccolti simultaneamente da agenti embodied. Per facilitare la ricerca in questa direzione, introduciamo MultiAgent-EgoQA (MA-EgoQA), un benchmark progettato per valutare sistematicamente i modelli esistenti nel nostro scenario. MA-EgoQA fornisce 1.7k domande uniche per flussi egocentrici multipli, che abbracciano cinque categorie: interazione sociale, coordinamento di compiti, teoria della mente, ragionamento temporale e interazione ambientale. Proponiamo inoltre un semplice modello di baseline per MA-EgoQA denominato EgoMAS, che sfrutta la memoria condivisa tra gli agenti embodied e un recupero dinamico per agente. Attraverso una valutazione completa di diverse baseline e di EgoMAS su MA-EgoQA, scopriamo che gli approcci attuali non sono in grado di gestire efficacemente flussi egocentrici multipli, evidenziando la necessità di progressi futuri nella comprensione a livello di sistema tra gli agenti. Il codice e il benchmark sono disponibili su https://ma-egoqa.github.io.
English
As embodied models become powerful, humans will collaborate with multiple embodied AI agents at their workplace or home in the future. To ensure better communication between human users and the multi-agent system, it is crucial to interpret incoming information from agents in parallel and refer to the appropriate context for each query. Existing challenges include effectively compressing and communicating high volumes of individual sensory inputs in the form of video and correctly aggregating multiple egocentric videos to construct system-level memory. In this work, we first formally define a novel problem of understanding multiple long-horizon egocentric videos simultaneously collected from embodied agents. To facilitate research in this direction, we introduce MultiAgent-EgoQA (MA-EgoQA), a benchmark designed to systemically evaluate existing models in our scenario. MA-EgoQA provides 1.7k questions unique to multiple egocentric streams, spanning five categories: social interaction, task coordination, theory-of-mind, temporal reasoning, and environmental interaction. We further propose a simple baseline model for MA-EgoQA named EgoMAS, which leverages shared memory across embodied agents and agent-wise dynamic retrieval. Through comprehensive evaluation across diverse baselines and EgoMAS on MA-EgoQA, we find that current approaches are unable to effectively handle multiple egocentric streams, highlighting the need for future advances in system-level understanding across the agents. The code and benchmark are available at https://ma-egoqa.github.io.