LLM-AD : Système de description audio basé sur un grand modèle de langage

LLM-AD: Large Language Model based Audio Description System

May 2, 2024

Auteurs: Peng Chu, Jiang Wang, Andre Abrantes

cs.AI

Résumé

Le développement de l'audiodescription (AD) a constitué une avancée majeure pour rendre les contenus vidéo plus accessibles et inclusifs. Traditionnellement, la production d'AD nécessite une main-d'œuvre qualifiée importante, tandis que les approches automatisées existantes exigent encore un entraînement approfondi pour intégrer des entrées multimodales et adapter le résultat d'un style de sous-titrage à un style d'AD. Dans cet article, nous présentons un pipeline automatisé de génération d'AD qui exploite les puissantes capacités multimodales et de suivi d'instructions de GPT-4V(ision). Notamment, notre méthodologie utilise des composants facilement disponibles, éliminant ainsi le besoin d'un entraînement supplémentaire. Elle produit des AD qui respectent non seulement les standards établis de production d'AD en langage naturel, mais maintiennent également des informations contextuellement cohérentes sur les personnages d'une image à l'autre, grâce à un module de reconnaissance de personnages basé sur le suivi. Une analyse approfondie sur le jeu de données MAD révèle que notre approche atteint une performance comparable à celle des méthodes basées sur l'apprentissage dans la production automatisée d'AD, comme en témoigne un score CIDEr de 20,5.

English

The development of Audio Description (AD) has been a pivotal step forward in making video content more accessible and inclusive. Traditionally, AD production has demanded a considerable amount of skilled labor, while existing automated approaches still necessitate extensive training to integrate multimodal inputs and tailor the output from a captioning style to an AD style. In this paper, we introduce an automated AD generation pipeline that harnesses the potent multimodal and instruction-following capacities of GPT-4V(ision). Notably, our methodology employs readily available components, eliminating the need for additional training. It produces ADs that not only comply with established natural language AD production standards but also maintain contextually consistent character information across frames, courtesy of a tracking-based character recognition module. A thorough analysis on the MAD dataset reveals that our approach achieves a performance on par with learning-based methods in automated AD production, as substantiated by a CIDEr score of 20.5.