LLM-AD: 大規模言語モデルに基づく音声解説システム

要旨

音声解説（AD）の開発は、映像コンテンツのアクセシビリティと包括性を高める上で画期的な一歩となってきました。従来、ADの制作には相当量の熟練労働力が必要とされ、既存の自動化手法においても、マルチモーダル入力を統合し、キャプション形式からAD形式へ出力を調整するために大規模な学習が依然として必要とされています。本論文では、GPT-4V(ision)の強力なマルチモーダル能力と指示追従能力を活用した自動AD生成パイプラインを提案します。特筆すべきは、当手法が既存の構成要素を利用するため追加の学習を必要とせず、確立された自然言語AD制作基準に準拠するだけでなく、追跡型人物認識モジュールによりフレーム間で文脈的に一貫した人物情報を維持するADを生成できる点です。MADデータセットを用いた詳細な分析により、本手法が自動AD制作において学習ベースの手法と同等の性能（CIDErスコア20.5）を達成することが実証されました。

English

The development of Audio Description (AD) has been a pivotal step forward in making video content more accessible and inclusive. Traditionally, AD production has demanded a considerable amount of skilled labor, while existing automated approaches still necessitate extensive training to integrate multimodal inputs and tailor the output from a captioning style to an AD style. In this paper, we introduce an automated AD generation pipeline that harnesses the potent multimodal and instruction-following capacities of GPT-4V(ision). Notably, our methodology employs readily available components, eliminating the need for additional training. It produces ADs that not only comply with established natural language AD production standards but also maintain contextually consistent character information across frames, courtesy of a tracking-based character recognition module. A thorough analysis on the MAD dataset reveals that our approach achieves a performance on par with learning-based methods in automated AD production, as substantiated by a CIDEr score of 20.5.

LLM-AD: 大規模言語モデルに基づく音声解説システム

LLM-AD: Large Language Model based Audio Description System

要旨

Support