LLM-AD: 大規模言語モデルに基づく音声解説システム

LLM-AD: Large Language Model based Audio Description System

May 2, 2024

著者: Peng Chu, Jiang Wang, Andre Abrantes

cs.AI

要旨

オーディオディスクリプション（AD）の開発は、映像コンテンツをよりアクセシブルで包括的なものにする上で重要な一歩となっています。従来、ADの制作には相当な熟練労働が必要とされ、既存の自動化手法においても、マルチモーダル入力を統合し、キャプション形式からAD形式へ出力を調整するために大規模なトレーニングが依然として必要でした。本論文では、GPT-4V(ision)の強力なマルチモーダル能力と指示追従能力を活用した自動AD生成パイプラインを紹介します。特に、私たちの手法は追加のトレーニングを必要とせず、既存のコンポーネントを利用します。これにより、確立された自然言語AD制作基準に準拠し、トラッキングベースのキャラクター認識モジュールのおかげでフレーム間で文脈的に一貫したキャラクター情報を維持するADを生成します。MADデータセットでの詳細な分析により、私たちのアプローチは自動AD制作において学習ベースの手法と同等の性能を達成し、CIDErスコア20.5で裏付けられています。

English

The development of Audio Description (AD) has been a pivotal step forward in making video content more accessible and inclusive. Traditionally, AD production has demanded a considerable amount of skilled labor, while existing automated approaches still necessitate extensive training to integrate multimodal inputs and tailor the output from a captioning style to an AD style. In this paper, we introduce an automated AD generation pipeline that harnesses the potent multimodal and instruction-following capacities of GPT-4V(ision). Notably, our methodology employs readily available components, eliminating the need for additional training. It produces ADs that not only comply with established natural language AD production standards but also maintain contextually consistent character information across frames, courtesy of a tracking-based character recognition module. A thorough analysis on the MAD dataset reveals that our approach achieves a performance on par with learning-based methods in automated AD production, as substantiated by a CIDEr score of 20.5.