MatchTime：サッカー試合実況の自動生成に向けて

要旨

サッカーは世界的に人気のあるスポーツであり、膨大な観客を抱えています。本論文では、視聴者の視聴体験を向上させるため、自動サッカー試合実況モデルの構築を検討します。一般的に、我々は以下の貢献を行いました：第一に、既存のデータセットで広く見られるビデオとテキストの不整合を観察し、49試合に対して手動でタイムスタンプを注釈し、より堅牢なサッカー試合実況生成のベンチマークを確立しました。これをSN-Caption-test-alignと称します。第二に、既存のデータセットを大規模に自動修正・フィルタリングするためのマルチモーダル時間整合パイプラインを提案し、より高品質なサッカー試合実況データセットを作成しました。これをMatchTimeと称します。第三に、我々が整備したデータセットに基づいて、自動実況生成モデルを訓練しました。これをMatchVoiceと名付けます。広範な実験とアブレーションスタディにより、我々の整合パイプラインの有効性が実証され、整備されたデータセットで訓練したモデルは、実況生成において最先端の性能を達成しました。これは、より良い整合が下流タスクにおいて重要な性能向上をもたらすことを示しています。

English

Soccer is a globally popular sport with a vast audience, in this paper, we consider constructing an automatic soccer game commentary model to improve the audiences' viewing experience. In general, we make the following contributions: First, observing the prevalent video-text misalignment in existing datasets, we manually annotate timestamps for 49 matches, establishing a more robust benchmark for soccer game commentary generation, termed as SN-Caption-test-align; Second, we propose a multi-modal temporal alignment pipeline to automatically correct and filter the existing dataset at scale, creating a higher-quality soccer game commentary dataset for training, denoted as MatchTime; Third, based on our curated dataset, we train an automatic commentary generation model, named MatchVoice. Extensive experiments and ablation studies have demonstrated the effectiveness of our alignment pipeline, and training model on the curated datasets achieves state-of-the-art performance for commentary generation, showcasing that better alignment can lead to significant performance improvements in downstream tasks.

MatchTime：サッカー試合実況の自動生成に向けて

MatchTime: Towards Automatic Soccer Game Commentary Generation

要旨

Support