MatchTime: Rumo à Geração Automática de Comentários de Jogos de Futebol
MatchTime: Towards Automatic Soccer Game Commentary Generation
June 26, 2024
Autores: Jiayuan Rao, Haoning Wu, Chang Liu, Yanfeng Wang, Weidi Xie
cs.AI
Resumo
O futebol é um esporte globalmente popular com uma vasta audiência, neste artigo, consideramos a construção de um modelo automático de comentários de jogos de futebol para melhorar a experiência de visualização do público. Em geral, fazemos as seguintes contribuições: Primeiro, observando o desalinhamento prevalente entre vídeo e texto em conjuntos de dados existentes, anotamos manualmente os horários de 49 partidas, estabelecendo um benchmark mais robusto para geração de comentários de jogos de futebol, denominado SN-Caption-test-align; Segundo, propomos um pipeline de alinhamento temporal multimodal para corrigir e filtrar automaticamente o conjunto de dados existente em escala, criando um conjunto de dados de comentários de jogos de futebol de maior qualidade para treinamento, denominado MatchTime; Terceiro, com base em nosso conjunto de dados curado, treinamos um modelo de geração de comentários automático, chamado MatchVoice. Experimentos extensivos e estudos de ablação demonstraram a eficácia de nosso pipeline de alinhamento, e o treinamento do modelo nos conjuntos de dados curados alcança desempenho de ponta para geração de comentários, mostrando que um melhor alinhamento pode levar a melhorias significativas de desempenho em tarefas subsequentes.
English
Soccer is a globally popular sport with a vast audience, in this paper, we
consider constructing an automatic soccer game commentary model to improve the
audiences' viewing experience. In general, we make the following contributions:
First, observing the prevalent video-text misalignment in existing datasets, we
manually annotate timestamps for 49 matches, establishing a more robust
benchmark for soccer game commentary generation, termed as
SN-Caption-test-align; Second, we propose a multi-modal temporal alignment
pipeline to automatically correct and filter the existing dataset at scale,
creating a higher-quality soccer game commentary dataset for training, denoted
as MatchTime; Third, based on our curated dataset, we train an automatic
commentary generation model, named MatchVoice. Extensive experiments and
ablation studies have demonstrated the effectiveness of our alignment pipeline,
and training model on the curated datasets achieves state-of-the-art
performance for commentary generation, showcasing that better alignment can
lead to significant performance improvements in downstream tasks.