포괄적인 축구 이해를 위한 다중 에이전트 시스템

Multi-Agent System for Comprehensive Soccer Understanding

May 6, 2025

저자: Jiayuan Rao, Zifeng Li, Haoning Wu, Ya Zhang, Yanfeng Wang, Weidi Xie

cs.AI

초록

최근 AI 기반 축구 이해 분야에서 빠른 발전이 이루어졌지만, 기존 연구는 주로 단일 또는 제한된 작업에 초점을 맞추고 있습니다. 이러한 격차를 해소하기 위해, 우리는 포괄적인 축구 이해를 위한 통합 프레임워크를 제안합니다. 구체적으로, 본 논문에서 다음과 같은 기여를 합니다: (i) 플레이어, 팀, 심판, 경기장 등 풍부한 도메인 지식을 통합하여 지식 기반 추론을 가능하게 하는 최초의 대규모 멀티모달 축구 지식 기반인 SoccerWiki를 구축합니다; (ii) 자동화된 파이프라인과 수동 검증을 통해 구성된 13개의 독특한 이해 작업에 걸쳐 약 10,000개의 표준화된 멀티모달(텍스트, 이미지, 비디오) 객관식 QA 쌍을 포함하는 가장 크고 포괄적인 축구 특화 벤치마크인 SoccerBench를 제시합니다; (iii) SoccerWiki의 도메인 전문성을 활용하여 복잡한 축구 질문을 협업적 추론을 통해 분해하고 강력한 성능을 달성하는 새로운 다중 에이전트 시스템인 SoccerAgent를 소개합니다; (iv) SoccerBench에서 최신 MLLM(Multimodal Large Language Models)을 벤치마킹한 광범위한 평가 및 어블레이션 연구를 통해 제안된 에이전트 시스템의 우수성을 입증합니다. 모든 데이터와 코드는 https://jyrao.github.io/SoccerAgent/에서 공개되어 있습니다.

English

Recent advancements in AI-driven soccer understanding have demonstrated rapid progress, yet existing research predominantly focuses on isolated or narrow tasks. To bridge this gap, we propose a comprehensive framework for holistic soccer understanding. Specifically, we make the following contributions in this paper: (i) we construct SoccerWiki, the first large-scale multimodal soccer knowledge base, integrating rich domain knowledge about players, teams, referees, and venues to enable knowledge-driven reasoning; (ii) we present SoccerBench, the largest and most comprehensive soccer-specific benchmark, featuring around 10K standardized multimodal (text, image, video) multi-choice QA pairs across 13 distinct understanding tasks, curated through automated pipelines and manual verification; (iii) we introduce SoccerAgent, a novel multi-agent system that decomposes complex soccer questions via collaborative reasoning, leveraging domain expertise from SoccerWiki and achieving robust performance; (iv) extensive evaluations and ablations that benchmark state-of-the-art MLLMs on SoccerBench, highlighting the superiority of our proposed agentic system. All data and code are publicly available at: https://jyrao.github.io/SoccerAgent/.