LLM-AD: Система аудиоописания на основе крупной языковой модели

LLM-AD: Large Language Model based Audio Description System

May 2, 2024

Авторы: Peng Chu, Jiang Wang, Andre Abrantes

cs.AI

Аннотация

Развитие аудиоописания (AD) стало ключевым шагом в обеспечении более доступного и инклюзивного видеоконтента. Традиционно производство AD требовало значительного количества квалифицированного труда, в то время как существующие автоматизированные подходы все еще требуют обширного обучения для интеграции мультимодальных входов и преобразования вывода из стиля подписей в стиль AD. В данной статье мы представляем автоматизированный конвейер генерации AD, который использует мощные мультимодальные и инструкционно-следящие возможности GPT-4V(ision). Значительно, наш метод использует легкодоступные компоненты, исключая необходимость дополнительного обучения. Он создает AD, которые не только соответствуют установленным стандартам производства AD на естественном языке, но также поддерживают контекстуально согласованную информацию о персонажах через кадры благодаря модулю распознавания персонажей на основе трекинга. Тщательный анализ на наборе данных MAD показывает, что наш подход достигает производительности на уровне методов, основанных на обучении, в автоматизированном производстве AD, подтвержденной показателем CIDEr в 20.5.

English

The development of Audio Description (AD) has been a pivotal step forward in making video content more accessible and inclusive. Traditionally, AD production has demanded a considerable amount of skilled labor, while existing automated approaches still necessitate extensive training to integrate multimodal inputs and tailor the output from a captioning style to an AD style. In this paper, we introduce an automated AD generation pipeline that harnesses the potent multimodal and instruction-following capacities of GPT-4V(ision). Notably, our methodology employs readily available components, eliminating the need for additional training. It produces ADs that not only comply with established natural language AD production standards but also maintain contextually consistent character information across frames, courtesy of a tracking-based character recognition module. A thorough analysis on the MAD dataset reveals that our approach achieves a performance on par with learning-based methods in automated AD production, as substantiated by a CIDEr score of 20.5.