LLM-AD: Sistema de Descrição de Áudio Baseado em Modelo de Linguagem de Grande Escala

LLM-AD: Large Language Model based Audio Description System

May 2, 2024

Autores: Peng Chu, Jiang Wang, Andre Abrantes

cs.AI

Resumo

O desenvolvimento da Audiodescrição (AD) tem sido um passo crucial para tornar o conteúdo de vídeo mais acessível e inclusivo. Tradicionalmente, a produção de AD exigia uma quantidade considerável de mão de obra especializada, enquanto as abordagens automatizadas existentes ainda necessitam de treinamento extensivo para integrar entradas multimodais e adaptar a saída de um estilo de legenda para um estilo de AD. Neste artigo, apresentamos um pipeline automatizado de geração de AD que aproveita as capacidades multimodais e de seguimento de instruções do GPT-4V(ision). Notavelmente, nossa metodologia emprega componentes prontamente disponíveis, eliminando a necessidade de treinamento adicional. Ela produz ADs que não apenas estão em conformidade com os padrões estabelecidos de produção de AD em linguagem natural, mas também mantêm informações contextualmente consistentes sobre os personagens entre os quadros, graças a um módulo de reconhecimento de personagens baseado em rastreamento. Uma análise detalhada no conjunto de dados MAD revela que nossa abordagem alcança um desempenho comparável aos métodos baseados em aprendizado na produção automatizada de AD, conforme evidenciado por um score CIDEr de 20,5.

English

The development of Audio Description (AD) has been a pivotal step forward in making video content more accessible and inclusive. Traditionally, AD production has demanded a considerable amount of skilled labor, while existing automated approaches still necessitate extensive training to integrate multimodal inputs and tailor the output from a captioning style to an AD style. In this paper, we introduce an automated AD generation pipeline that harnesses the potent multimodal and instruction-following capacities of GPT-4V(ision). Notably, our methodology employs readily available components, eliminating the need for additional training. It produces ADs that not only comply with established natural language AD production standards but also maintain contextually consistent character information across frames, courtesy of a tracking-based character recognition module. A thorough analysis on the MAD dataset reveals that our approach achieves a performance on par with learning-based methods in automated AD production, as substantiated by a CIDEr score of 20.5.