MA-EgoQA : Question-Réponse sur des Vidéos Egocentriques de Multiples Agents Incarnés
MA-EgoQA: Question Answering over Egocentric Videos from Multiple Embodied Agents
March 10, 2026
Auteurs: Kangsan Kim, Yanlai Yang, Suji Kim, Woongyeong Yeo, Youngwan Lee, Mengye Ren, Sung Ju Hwang
cs.AI
Résumé
À mesure que les modèles incarnés gagnent en puissance, les humains collaboreront à l’avenir avec plusieurs agents d’IA incarnés sur leur lieu de travail ou à domicile. Pour garantir une meilleure communication entre les utilisateurs humains et le système multi-agents, il est essentiel d’interpréter en parallèle les informations provenant des agents et de se référer au contexte approprié pour chaque requête. Les défis actuels incluent la compression et la transmission efficace de volumes élevés de données sensorielles individuelles sous forme vidéo, ainsi que l’agrégation correcte de multiples vidéos égocentriques pour construire une mémoire systémique. Dans ce travail, nous définissons d’abord formellement un nouveau problème : la compréhension de multiples vidéos égocentriques de long horizon collectées simultanément auprès d’agents incarnés. Pour favoriser la recherche dans cette direction, nous présentons MultiAgent-EgoQA (MA-EgoQA), un benchmark conçu pour évaluer systématiquement les modèles existants dans notre scénario. MA-EgoQA propose 1 700 questions spécifiques aux flux égocentriques multiples, couvrant cinq catégories : interaction sociale, coordination de tâches, théorie de l’esprit, raisonnement temporel et interaction environnementale. Nous proposons en outre un modèle de base simple pour MA-EgoQA, nommé EgoMAS, qui exploite une mémoire partagée entre les agents incarnés et une récupération dynamique par agent. Grâce à une évaluation complète de divers modèles de référence et d’EgoMAS sur MA-EgoQA, nous constatons que les approches actuelles sont incapables de traiter efficacement plusieurs flux égocentriques, soulignant la nécessité de progrès futurs dans la compréhension systémique à travers les agents. Le code et le benchmark sont disponibles à l’adresse https://ma-egoqa.github.io.
English
As embodied models become powerful, humans will collaborate with multiple embodied AI agents at their workplace or home in the future. To ensure better communication between human users and the multi-agent system, it is crucial to interpret incoming information from agents in parallel and refer to the appropriate context for each query. Existing challenges include effectively compressing and communicating high volumes of individual sensory inputs in the form of video and correctly aggregating multiple egocentric videos to construct system-level memory. In this work, we first formally define a novel problem of understanding multiple long-horizon egocentric videos simultaneously collected from embodied agents. To facilitate research in this direction, we introduce MultiAgent-EgoQA (MA-EgoQA), a benchmark designed to systemically evaluate existing models in our scenario. MA-EgoQA provides 1.7k questions unique to multiple egocentric streams, spanning five categories: social interaction, task coordination, theory-of-mind, temporal reasoning, and environmental interaction. We further propose a simple baseline model for MA-EgoQA named EgoMAS, which leverages shared memory across embodied agents and agent-wise dynamic retrieval. Through comprehensive evaluation across diverse baselines and EgoMAS on MA-EgoQA, we find that current approaches are unable to effectively handle multiple egocentric streams, highlighting the need for future advances in system-level understanding across the agents. The code and benchmark are available at https://ma-egoqa.github.io.