Um Vídeo Vale 4096 Tokens: Verbalizar Vídeos Narrativos Para Compreendê-los Em Zero Shot

A Video Is Worth 4096 Tokens: Verbalize Story Videos To Understand Them In Zero Shot

May 16, 2023

Autores: Aanisha Bhattacharya, Yaman K Singla, Balaji Krishnamurthy, Rajiv Ratn Shah, Changyou Chen

cs.AI

Resumo

O conteúdo multimídia, como anúncios e vídeos de histórias, apresenta uma rica combinação de criatividade e múltiplas modalidades. Ele incorpora elementos como texto, imagens, áudio e técnicas de narrativa, utilizando recursos como emoções, simbolismo e slogans para transmitir significado. Embora pesquisas anteriores em compreensão de multimídia tenham se concentrado principalmente em vídeos com ações específicas, como culinária, há uma escassez de grandes conjuntos de dados de treinamento anotados, o que dificulta o desenvolvimento de modelos de aprendizado supervisionado com desempenho satisfatório para aplicações do mundo real. No entanto, o surgimento de grandes modelos de linguagem (LLMs) tem mostrado um desempenho notável em tarefas de processamento de linguagem natural (NLP), como classificação de emoções, questionamento e classificação de tópicos. Para superar essa lacuna de desempenho na compreensão de multimídia, propomos verbalizar vídeos de histórias para gerar suas descrições em linguagem natural e, em seguida, realizar tarefas de compreensão de vídeo na história gerada, em vez de no vídeo original. Por meio de extensos experimentos em cinco tarefas de compreensão de vídeo, demonstramos que nosso método, apesar de ser zero-shot, alcança resultados significativamente melhores do que as abordagens supervisionadas de referência para compreensão de vídeo. Além disso, para suprir a falta de benchmarks de compreensão de histórias, disponibilizamos publicamente o primeiro conjunto de dados sobre uma tarefa crucial em ciência social computacional: a identificação de estratégias de persuasão.

English

Multimedia content, such as advertisements and story videos, exhibit a rich blend of creativity and multiple modalities. They incorporate elements like text, visuals, audio, and storytelling techniques, employing devices like emotions, symbolism, and slogans to convey meaning. While previous research in multimedia understanding has focused mainly on videos with specific actions like cooking, there is a dearth of large annotated training datasets, hindering the development of supervised learning models with satisfactory performance for real-world applications. However, the rise of large language models (LLMs) has witnessed remarkable zero-shot performance in various natural language processing (NLP) tasks, such as emotion classification, question-answering, and topic classification. To bridge this performance gap in multimedia understanding, we propose verbalizing story videos to generate their descriptions in natural language and then performing video-understanding tasks on the generated story as opposed to the original video. Through extensive experiments on five video-understanding tasks, we demonstrate that our method, despite being zero-shot, achieves significantly better results than supervised baselines for video understanding. Further, alleviating a lack of story understanding benchmarks, we publicly release the first dataset on a crucial task in computational social science, persuasion strategy identification.