Видео стоит 4096 токенов: Вербализация сюжетных видео для их понимания в условиях нулевого сценария

A Video Is Worth 4096 Tokens: Verbalize Story Videos To Understand Them In Zero Shot

May 16, 2023

Авторы: Aanisha Bhattacharya, Yaman K Singla, Balaji Krishnamurthy, Rajiv Ratn Shah, Changyou Chen

cs.AI

Аннотация

Мультимедийный контент, такой как рекламные ролики и сюжетные видео, демонстрирует богатое сочетание креативности и множества модальностей. Он включает элементы, такие как текст, визуальные образы, аудио и техники повествования, используя приемы, такие как эмоции, символизм и слоганы, для передачи смысла. Хотя предыдущие исследования в области понимания мультимедиа в основном сосредотачивались на видео с конкретными действиями, такими как приготовление пищи, существует недостаток крупных аннотированных обучающих наборов данных, что затрудняет разработку моделей обучения с учителем с удовлетворительной производительностью для реальных приложений. Однако появление больших языковых моделей (LLM) продемонстрировало впечатляющую производительность в задачах обработки естественного языка (NLP), таких как классификация эмоций, ответы на вопросы и классификация тем. Чтобы преодолеть этот разрыв в производительности в понимании мультимедиа, мы предлагаем вербализовать сюжетные видео для генерации их описаний на естественном языке, а затем выполнять задачи понимания видео на основе сгенерированного сюжета, а не исходного видео. В ходе обширных экспериментов на пяти задачах понимания видео мы демонстрируем, что наш метод, несмотря на отсутствие обучения, достигает значительно лучших результатов, чем контролируемые базовые модели для понимания видео. Кроме того, чтобы устранить недостаток эталонных данных для понимания сюжетов, мы публикуем первый набор данных для важной задачи в вычислительной социальной науке — идентификации стратегий убеждения.

English

Multimedia content, such as advertisements and story videos, exhibit a rich blend of creativity and multiple modalities. They incorporate elements like text, visuals, audio, and storytelling techniques, employing devices like emotions, symbolism, and slogans to convey meaning. While previous research in multimedia understanding has focused mainly on videos with specific actions like cooking, there is a dearth of large annotated training datasets, hindering the development of supervised learning models with satisfactory performance for real-world applications. However, the rise of large language models (LLMs) has witnessed remarkable zero-shot performance in various natural language processing (NLP) tasks, such as emotion classification, question-answering, and topic classification. To bridge this performance gap in multimedia understanding, we propose verbalizing story videos to generate their descriptions in natural language and then performing video-understanding tasks on the generated story as opposed to the original video. Through extensive experiments on five video-understanding tasks, we demonstrate that our method, despite being zero-shot, achieves significantly better results than supervised baselines for video understanding. Further, alleviating a lack of story understanding benchmarks, we publicly release the first dataset on a crucial task in computational social science, persuasion strategy identification.