MA-EgoQA: Question Answering em Vídeos Egocêntricos de Múltiplos Agentes Corporificados
MA-EgoQA: Question Answering over Egocentric Videos from Multiple Embodied Agents
March 10, 2026
Autores: Kangsan Kim, Yanlai Yang, Suji Kim, Woongyeong Yeo, Youngwan Lee, Mengye Ren, Sung Ju Hwang
cs.AI
Resumo
À medida que os modelos corporificados se tornam mais poderosos, os humanos colaborarão com múltiplos agentes de IA corporificados em seus locais de trabalho ou residências no futuro. Para garantir uma comunicação mais eficiente entre os utilizadores humanos e o sistema multiagente, é crucial interpretar as informações recebidas dos agentes em paralelo e referir-se ao contexto apropriado para cada consulta. Os desafios existentes incluem comprimir e comunicar eficazmente grandes volumes de dados sensoriais individuais sob a forma de vídeo e agregar corretamente múltiplos vídeos egocêntricos para construir uma memória a nível de sistema. Neste trabalho, definimos primeiro formalmente um novo problema de compreensão de múltiplos vídeos egocêntricos de longo horizonte recolhidos simultaneamente a partir de agentes corporificados. Para facilitar a investigação nesta direção, introduzimos o MultiAgent-EgoQA (MA-EgoQA), um benchmark concebido para avaliar sistemicamente os modelos existentes no nosso cenário. O MA-EgoQA fornece 1,7 mil questões exclusivas para múltiplos fluxos egocêntricos, abrangendo cinco categorias: interação social, coordenação de tarefas, teoria da mente, raciocínio temporal e interação ambiental. Propomos ainda um modelo de base simples para o MA-EgoQA denominado EgoMAS, que aproveita a memória partilhada entre agentes corporificados e a recuperação dinâmica por agente. Através de uma avaliação abrangente de diversas linhas de base e do EgoMAS no MA-EgoQA, constatamos que as abordagens atuais não conseguem lidar eficazmente com múltiplos fluxos egocêntricos, destacando a necessidade de avanços futuros na compreensão a nível de sistema entre os agentes. O código e o benchmark estão disponíveis em https://ma-egoqa.github.io.
English
As embodied models become powerful, humans will collaborate with multiple embodied AI agents at their workplace or home in the future. To ensure better communication between human users and the multi-agent system, it is crucial to interpret incoming information from agents in parallel and refer to the appropriate context for each query. Existing challenges include effectively compressing and communicating high volumes of individual sensory inputs in the form of video and correctly aggregating multiple egocentric videos to construct system-level memory. In this work, we first formally define a novel problem of understanding multiple long-horizon egocentric videos simultaneously collected from embodied agents. To facilitate research in this direction, we introduce MultiAgent-EgoQA (MA-EgoQA), a benchmark designed to systemically evaluate existing models in our scenario. MA-EgoQA provides 1.7k questions unique to multiple egocentric streams, spanning five categories: social interaction, task coordination, theory-of-mind, temporal reasoning, and environmental interaction. We further propose a simple baseline model for MA-EgoQA named EgoMAS, which leverages shared memory across embodied agents and agent-wise dynamic retrieval. Through comprehensive evaluation across diverse baselines and EgoMAS on MA-EgoQA, we find that current approaches are unable to effectively handle multiple egocentric streams, highlighting the need for future advances in system-level understanding across the agents. The code and benchmark are available at https://ma-egoqa.github.io.