LLM-AD: Sistema de Descripción Auditiva Basado en Modelos de Lenguaje de Gran Escala

LLM-AD: Large Language Model based Audio Description System

May 2, 2024

Autores: Peng Chu, Jiang Wang, Andre Abrantes

cs.AI

Resumen

El desarrollo de la Audiodescripción (AD) ha sido un paso crucial para hacer que los contenidos audiovisuales sean más accesibles e inclusivos. Tradicionalmente, la producción de AD ha requerido una cantidad considerable de mano de obra especializada, mientras que los enfoques automatizados existentes aún necesitan un entrenamiento extenso para integrar entradas multimodales y adaptar la salida de un estilo de subtitulado a un estilo de AD. En este artículo, presentamos una pipeline automatizada para la generación de AD que aprovecha las potentes capacidades multimodales y de seguimiento de instrucciones de GPT-4V(isión). Cabe destacar que nuestra metodología emplea componentes fácilmente disponibles, eliminando la necesidad de entrenamiento adicional. Produce ADs que no solo cumplen con los estándares establecidos de producción de lenguaje natural para AD, sino que también mantienen información contextualmente consistente sobre los personajes a lo largo de los fotogramas, gracias a un módulo de reconocimiento de personajes basado en seguimiento. Un análisis exhaustivo en el conjunto de datos MAD revela que nuestro enfoque alcanza un rendimiento comparable a los métodos basados en aprendizaje en la producción automatizada de AD, respaldado por una puntuación CIDEr de 20.5.

English

The development of Audio Description (AD) has been a pivotal step forward in making video content more accessible and inclusive. Traditionally, AD production has demanded a considerable amount of skilled labor, while existing automated approaches still necessitate extensive training to integrate multimodal inputs and tailor the output from a captioning style to an AD style. In this paper, we introduce an automated AD generation pipeline that harnesses the potent multimodal and instruction-following capacities of GPT-4V(ision). Notably, our methodology employs readily available components, eliminating the need for additional training. It produces ADs that not only comply with established natural language AD production standards but also maintain contextually consistent character information across frames, courtesy of a tracking-based character recognition module. A thorough analysis on the MAD dataset reveals that our approach achieves a performance on par with learning-based methods in automated AD production, as substantiated by a CIDEr score of 20.5.