MatchTime: Naar Automatische Generatie van Voetbalwedstrijdcommentaar

MatchTime: Towards Automatic Soccer Game Commentary Generation

June 26, 2024

Auteurs: Jiayuan Rao, Haoning Wu, Chang Liu, Yanfeng Wang, Weidi Xie

cs.AI

Samenvatting

Voetbal is een wereldwijd populaire sport met een groot publiek. In dit artikel bespreken we de constructie van een automatisch commentaarmodel voor voetbalwedstrijden om de kijkervaring van het publiek te verbeteren. Over het algemeen leveren we de volgende bijdragen: Ten eerste, door de veelvoorkomende video-tekst-misalignering in bestaande datasets te observeren, annoteren we handmatig tijdstempels voor 49 wedstrijden, waardoor een robuustere benchmark voor het genereren van voetbalcommentaar wordt gevestigd, genaamd SN-Caption-test-align; Ten tweede stellen we een multi-modale temporele aligneringspijplijn voor om de bestaande dataset automatisch te corrigeren en op grote schaal te filteren, wat resulteert in een hogere kwaliteit van de voetbalcommentaardataset voor training, aangeduid als MatchTime; Ten derde trainen we, gebaseerd op onze gecureerde dataset, een automatisch commentaargeneratiemodel genaamd MatchVoice. Uitgebreide experimenten en ablatiestudies hebben de effectiviteit van onze aligneringspijplijn aangetoond, en het trainen van het model op de gecureerde datasets levert state-of-the-art prestaties op voor commentaargeneratie, wat aantoont dat betere alignering kan leiden tot aanzienlijke prestatieverbeteringen in downstream taken.

English

Soccer is a globally popular sport with a vast audience, in this paper, we consider constructing an automatic soccer game commentary model to improve the audiences' viewing experience. In general, we make the following contributions: First, observing the prevalent video-text misalignment in existing datasets, we manually annotate timestamps for 49 matches, establishing a more robust benchmark for soccer game commentary generation, termed as SN-Caption-test-align; Second, we propose a multi-modal temporal alignment pipeline to automatically correct and filter the existing dataset at scale, creating a higher-quality soccer game commentary dataset for training, denoted as MatchTime; Third, based on our curated dataset, we train an automatic commentary generation model, named MatchVoice. Extensive experiments and ablation studies have demonstrated the effectiveness of our alignment pipeline, and training model on the curated datasets achieves state-of-the-art performance for commentary generation, showcasing that better alignment can lead to significant performance improvements in downstream tasks.