Système Multi-Agent pour une Compréhension Globale du Football

Multi-Agent System for Comprehensive Soccer Understanding

May 6, 2025

Auteurs: Jiayuan Rao, Zifeng Li, Haoning Wu, Ya Zhang, Yanfeng Wang, Weidi Xie

cs.AI

Résumé

Les récents progrès dans la compréhension du football pilotée par l'IA ont démontré une avancée rapide, mais les recherches existantes se concentrent principalement sur des tâches isolées ou restreintes. Pour combler cette lacune, nous proposons un cadre complet pour une compréhension holistique du football. Plus précisément, nous apportons les contributions suivantes dans cet article : (i) nous construisons SoccerWiki, la première base de connaissances multimodale à grande échelle sur le football, intégrant des connaissances riches sur les joueurs, les équipes, les arbitres et les lieux pour permettre un raisonnement basé sur les connaissances ; (ii) nous présentons SoccerBench, le benchmark le plus vaste et le plus complet spécifique au football, comprenant environ 10 000 paires de questions-réponses multimodales (texte, image, vidéo) standardisées à choix multiples, couvrant 13 tâches de compréhension distinctes, élaborées via des pipelines automatisés et une vérification manuelle ; (iii) nous introduisons SoccerAgent, un système multi-agent innovant qui décompose des questions complexes sur le football grâce à un raisonnement collaboratif, exploitant l'expertise du domaine de SoccerWiki et obtenant des performances robustes ; (iv) des évaluations et des ablations approfondies qui benchmarkent les modèles de langage multimodaux (MLLM) de pointe sur SoccerBench, mettant en évidence la supériorité de notre système agentique proposé. Toutes les données et le code sont disponibles publiquement à l'adresse : https://jyrao.github.io/SoccerAgent/.

English

Recent advancements in AI-driven soccer understanding have demonstrated rapid progress, yet existing research predominantly focuses on isolated or narrow tasks. To bridge this gap, we propose a comprehensive framework for holistic soccer understanding. Specifically, we make the following contributions in this paper: (i) we construct SoccerWiki, the first large-scale multimodal soccer knowledge base, integrating rich domain knowledge about players, teams, referees, and venues to enable knowledge-driven reasoning; (ii) we present SoccerBench, the largest and most comprehensive soccer-specific benchmark, featuring around 10K standardized multimodal (text, image, video) multi-choice QA pairs across 13 distinct understanding tasks, curated through automated pipelines and manual verification; (iii) we introduce SoccerAgent, a novel multi-agent system that decomposes complex soccer questions via collaborative reasoning, leveraging domain expertise from SoccerWiki and achieving robust performance; (iv) extensive evaluations and ablations that benchmark state-of-the-art MLLMs on SoccerBench, highlighting the superiority of our proposed agentic system. All data and code are publicly available at: https://jyrao.github.io/SoccerAgent/.