MatchTime: 자동 축구 경기 해설 생성 기술

MatchTime: Towards Automatic Soccer Game Commentary Generation

June 26, 2024

저자: Jiayuan Rao, Haoning Wu, Chang Liu, Yanfeng Wang, Weidi Xie

cs.AI

초록

축구는 전 세계적으로 인기 있는 스포츠로, 방대한 관중을 보유하고 있습니다. 본 논문에서는 관중들의 시청 경험을 향상시키기 위해 자동 축구 경기 해설 모델을 구축하는 것을 고려합니다. 일반적으로 다음과 같은 기여를 합니다: 첫째, 기존 데이터셋에서 흔히 발견되는 비디오-텍스트 불일치 문제를 관찰하고, 49개 경기에 대해 수동으로 타임스탬프를 주석 처리하여 더 견고한 축구 경기 해설 생성 벤치마크를 구축했습니다. 이를 SN-Caption-test-align이라고 명명합니다. 둘째, 기존 데이터셋을 대규모로 자동으로 수정하고 필터링하기 위한 다중 모달 시간 정렬 파이프라인을 제안하여, 더 높은 품질의 축구 경기 해설 데이터셋인 MatchTime을 생성했습니다. 셋째, 우리가 정제한 데이터셋을 기반으로 MatchVoice라는 자동 해설 생성 모델을 학습시켰습니다. 광범위한 실험과 절제 연구를 통해 우리의 정렬 파이프라인의 효과를 입증했으며, 정제된 데이터셋에서 학습한 모델이 해설 생성에서 최첨단 성능을 달성함으로써, 더 나은 정렬이 다운스트림 작업에서 상당한 성능 향상을 이끌어낼 수 있음을 보여주었습니다.

English

Soccer is a globally popular sport with a vast audience, in this paper, we consider constructing an automatic soccer game commentary model to improve the audiences' viewing experience. In general, we make the following contributions: First, observing the prevalent video-text misalignment in existing datasets, we manually annotate timestamps for 49 matches, establishing a more robust benchmark for soccer game commentary generation, termed as SN-Caption-test-align; Second, we propose a multi-modal temporal alignment pipeline to automatically correct and filter the existing dataset at scale, creating a higher-quality soccer game commentary dataset for training, denoted as MatchTime; Third, based on our curated dataset, we train an automatic commentary generation model, named MatchVoice. Extensive experiments and ablation studies have demonstrated the effectiveness of our alignment pipeline, and training model on the curated datasets achieves state-of-the-art performance for commentary generation, showcasing that better alignment can lead to significant performance improvements in downstream tasks.