包括的なサッカー理解のためのマルチエージェントシステム

Multi-Agent System for Comprehensive Soccer Understanding

May 6, 2025

著者: Jiayuan Rao, Zifeng Li, Haoning Wu, Ya Zhang, Yanfeng Wang, Weidi Xie

cs.AI

要旨

AI駆動型サッカー理解の最近の進展は急速な進歩を示しているものの、既存の研究は主に孤立したまたは狭いタスクに焦点を当てています。このギャップを埋めるため、我々は包括的なサッカー理解のためのフレームワークを提案します。具体的には、本論文で以下の貢献を行います：(i) プレイヤー、チーム、審判、会場に関する豊富なドメイン知識を統合し、知識駆動型推論を可能にする初の大規模マルチモーダルサッカー知識ベース「SoccerWiki」を構築します。(ii) 自動化パイプラインと手動検証を通じてキュレーションされた、13の異なる理解タスクにわたる約10Kの標準化されたマルチモーダル（テキスト、画像、ビデオ）多肢選択QAペアを特徴とする、最大かつ最も包括的なサッカー特化ベンチマーク「SoccerBench」を提示します。(iii) SoccerWikiのドメイン専門知識を活用し、複雑なサッカー質問を協調的推論によって分解する新規マルチエージェントシステム「SoccerAgent」を導入し、堅牢な性能を達成します。(iv) SoccerBench上での最先端MLLMをベンチマークする広範な評価とアブレーションを行い、提案したエージェントシステムの優位性を強調します。すべてのデータとコードは以下で公開されています：https://jyrao.github.io/SoccerAgent/。

English

Recent advancements in AI-driven soccer understanding have demonstrated rapid progress, yet existing research predominantly focuses on isolated or narrow tasks. To bridge this gap, we propose a comprehensive framework for holistic soccer understanding. Specifically, we make the following contributions in this paper: (i) we construct SoccerWiki, the first large-scale multimodal soccer knowledge base, integrating rich domain knowledge about players, teams, referees, and venues to enable knowledge-driven reasoning; (ii) we present SoccerBench, the largest and most comprehensive soccer-specific benchmark, featuring around 10K standardized multimodal (text, image, video) multi-choice QA pairs across 13 distinct understanding tasks, curated through automated pipelines and manual verification; (iii) we introduce SoccerAgent, a novel multi-agent system that decomposes complex soccer questions via collaborative reasoning, leveraging domain expertise from SoccerWiki and achieving robust performance; (iv) extensive evaluations and ablations that benchmark state-of-the-art MLLMs on SoccerBench, highlighting the superiority of our proposed agentic system. All data and code are publicly available at: https://jyrao.github.io/SoccerAgent/.