MatchTime: К автоматическому созданию комментариев к футбольным матчам

MatchTime: Towards Automatic Soccer Game Commentary Generation

June 26, 2024

Авторы: Jiayuan Rao, Haoning Wu, Chang Liu, Yanfeng Wang, Weidi Xie

cs.AI

Аннотация

Футбол - это популярный во всем мире вид спорта с огромной аудиторией, в данной статье мы рассматриваем создание модели автоматической комментарий к футбольным матчам для улучшения просмотров зрителей. В общем, мы вносим следующие вклады: Во-первых, обнаруживая распространенное несоответствие видео и текста в существующих наборах данных, мы вручную аннотировали временные метки для 49 матчей, устанавливая более надежную базу для генерации комментариев к футбольным матчам, названную SN-Caption-test-align; Во-вторых, мы предлагаем мультимодальный временной процесс выравнивания для автоматической коррекции и фильтрации существующего набора данных в масштабе, создавая более качественный набор данных для тренировки автоматической генерации комментариев к футбольным матчам, обозначенный как MatchTime; В-третьих, на основе нашего отобранного набора данных мы обучаем модель автоматической генерации комментариев, названную MatchVoice. Обширные эксперименты и исследования абляции продемонстрировали эффективность нашего процесса выравнивания и обучения модели на отобранных наборах данных достигают передовых показателей производительности для генерации комментариев, показывая, что лучшее выравнивание может привести к значительному улучшению производительности в последующих задачах.

English

Soccer is a globally popular sport with a vast audience, in this paper, we consider constructing an automatic soccer game commentary model to improve the audiences' viewing experience. In general, we make the following contributions: First, observing the prevalent video-text misalignment in existing datasets, we manually annotate timestamps for 49 matches, establishing a more robust benchmark for soccer game commentary generation, termed as SN-Caption-test-align; Second, we propose a multi-modal temporal alignment pipeline to automatically correct and filter the existing dataset at scale, creating a higher-quality soccer game commentary dataset for training, denoted as MatchTime; Third, based on our curated dataset, we train an automatic commentary generation model, named MatchVoice. Extensive experiments and ablation studies have demonstrated the effectiveness of our alignment pipeline, and training model on the curated datasets achieves state-of-the-art performance for commentary generation, showcasing that better alignment can lead to significant performance improvements in downstream tasks.