MA-EgoQA: Vraagbeantwoording op Egocentrische Video's van Meerdere Belichaamde Agenten
MA-EgoQA: Question Answering over Egocentric Videos from Multiple Embodied Agents
March 10, 2026
Auteurs: Kangsan Kim, Yanlai Yang, Suji Kim, Woongyeong Yeo, Youngwan Lee, Mengye Ren, Sung Ju Hwang
cs.AI
Samenvatting
Naarmate belichaamde modellen krachtiger worden, zullen mensen in de toekomst op hun werkplek of thuis samenwerken met meerdere belichaamde AI-agenten. Om een betere communicatie tussen menselijke gebruikers en het multi-agent systeem te waarborgen, is het cruciaal om inkomende informatie van agenten parallel te interpreteren en voor elke vraag de juiste context te raadplegen. Bestaande uitdagingen zijn onder meer het effectief comprimeren en communiceren van grote hoeveelheden individuele sensorische input in de vorm van video, en het correct aggregeren van meerdere egocentrische video's om een systeemniveau-geheugen op te bouwen.
In dit werk definiëren we eerst formeel een nieuw probleem: het begrijpen van meerdere egocentrische video's met een lange tijdsduur die gelijktijdig zijn verzameld van belichaamde agenten. Om onderzoek in deze richting te faciliteren, introduceren we MultiAgent-EgoQA (MA-EgoQA), een benchmark die is ontworpen om bestaande modellen in ons scenario systematisch te evalueren. MA-EgoQA biedt 1.700 vragen die uniek zijn voor meerdere egocentrische stromen, verdeeld over vijf categorieën: sociale interactie, taakcoördinatie, theory-of-mind, temporeel redeneren en omgevingsinteractie.
We stellen verder een eenvoudig baseline-model voor voor MA-EgoQA, genaamd EgoMAS, dat gebruikmaakt van gedeeld geheugen tussen belichaamde agenten en dynamische retrievel per agent. Door middel van een uitgebreide evaluatie van diverse baselines en EgoMAS op MA-EgoQA, concluderen we dat huidige benaderingen niet in staat zijn effectief om te gaan met meerdere egocentrische stromen, wat de noodzaak onderstreept van toekomstige vooruitgang in systeemniveau-begrip tussen de agenten. De code en benchmark zijn beschikbaar op https://ma-egoqa.github.io.
English
As embodied models become powerful, humans will collaborate with multiple embodied AI agents at their workplace or home in the future. To ensure better communication between human users and the multi-agent system, it is crucial to interpret incoming information from agents in parallel and refer to the appropriate context for each query. Existing challenges include effectively compressing and communicating high volumes of individual sensory inputs in the form of video and correctly aggregating multiple egocentric videos to construct system-level memory. In this work, we first formally define a novel problem of understanding multiple long-horizon egocentric videos simultaneously collected from embodied agents. To facilitate research in this direction, we introduce MultiAgent-EgoQA (MA-EgoQA), a benchmark designed to systemically evaluate existing models in our scenario. MA-EgoQA provides 1.7k questions unique to multiple egocentric streams, spanning five categories: social interaction, task coordination, theory-of-mind, temporal reasoning, and environmental interaction. We further propose a simple baseline model for MA-EgoQA named EgoMAS, which leverages shared memory across embodied agents and agent-wise dynamic retrieval. Through comprehensive evaluation across diverse baselines and EgoMAS on MA-EgoQA, we find that current approaches are unable to effectively handle multiple egocentric streams, highlighting the need for future advances in system-level understanding across the agents. The code and benchmark are available at https://ma-egoqa.github.io.