MA-EgoQA: 다중 구현 에이전트의 자기 중심적 비디오 기반 질의응답

초록

구현형 AI 모델의 성능이 향상됨에 따라 인간은 미래에 직장이나 가정에서 여러 구현형 AI 에이전트와 협업하게 될 것입니다. 인간 사용자와 다중 에이전트 시스템 간의 원활한 의사소통을 보장하기 위해서는 에이전트로부터 동시에 수신되는 정보를 해석하고 각 질의에 적합한 맥락을 참조하는 것이 중요합니다. 기존 과제로는 비디오 형태의 개별 감각 입력 정보를 효과적으로 압축하고 전달하는 것, 그리고 시스템 수준의 메모리를 구축하기 위해 여러 에이전트 중심(egocentric) 비디오를 정확하게 통합하는 문제가 있습니다. 본 연구에서는 구현형 에이전트로부터 동시에 수집된 여러 장기(Long-Horizon) 에이전트 중심 비디오를 이해하는 새로운 문제를 먼저 공식적으로 정의합니다. 이 방향의 연구를 촉진하기 위해 우리의 시나리오에서 기존 모델을 체계적으로 평가하도록 설계된 벤치마크인 MultiAgent-EgoQA(MA-EgoQA)를 소개합니다. MA-EgoQA는 사회적 상호작용, 작업 조정, 마음이론, 시간적 추론, 환경 상호작용의 다섯 가지 범주에 걸쳐 여러 에이전트 중심 스트림에 고유한 1,700개의 질문을 제공합니다. 우리는 또한 구현형 에이전트 간의 공유 메모리와 에이전트 단위 동적 검색을 활용하는 EgoMAS라는 MA-EgoQA용 간단한 기준 모델을 제안합니다. MA-EgoQA에 대한 다양한 기준 모델과 EgoMAS의 포괄적 평가를 통해, 우리는 현재의 접근 방식이 여러 에이전트 중심 스트림을 효과적으로 처리하지 못함을 발견했으며, 이는 에이전트 간 시스템 수준 이해에 대한 향후 발전의 필요성을 강조합니다. 코드와 벤치마크는 https://ma-egoqa.github.io에서 확인할 수 있습니다.

English

As embodied models become powerful, humans will collaborate with multiple embodied AI agents at their workplace or home in the future. To ensure better communication between human users and the multi-agent system, it is crucial to interpret incoming information from agents in parallel and refer to the appropriate context for each query. Existing challenges include effectively compressing and communicating high volumes of individual sensory inputs in the form of video and correctly aggregating multiple egocentric videos to construct system-level memory. In this work, we first formally define a novel problem of understanding multiple long-horizon egocentric videos simultaneously collected from embodied agents. To facilitate research in this direction, we introduce MultiAgent-EgoQA (MA-EgoQA), a benchmark designed to systemically evaluate existing models in our scenario. MA-EgoQA provides 1.7k questions unique to multiple egocentric streams, spanning five categories: social interaction, task coordination, theory-of-mind, temporal reasoning, and environmental interaction. We further propose a simple baseline model for MA-EgoQA named EgoMAS, which leverages shared memory across embodied agents and agent-wise dynamic retrieval. Through comprehensive evaluation across diverse baselines and EgoMAS on MA-EgoQA, we find that current approaches are unable to effectively handle multiple egocentric streams, highlighting the need for future advances in system-level understanding across the agents. The code and benchmark are available at https://ma-egoqa.github.io.

MA-EgoQA: 다중 구현 에이전트의 자기 중심적 비디오 기반 질의응답

MA-EgoQA: Question Answering over Egocentric Videos from Multiple Embodied Agents

초록

Support