Un Video Vale 4096 Token: Verbalizzare Video Narrativi per Comprenderli in Modalità Zero Shot

A Video Is Worth 4096 Tokens: Verbalize Story Videos To Understand Them In Zero Shot

May 16, 2023

Autori: Aanisha Bhattacharya, Yaman K Singla, Balaji Krishnamurthy, Rajiv Ratn Shah, Changyou Chen

cs.AI

Abstract

I contenuti multimediali, come pubblicità e video narrativi, presentano una ricca combinazione di creatività e molteplici modalità. Incorporano elementi come testo, immagini, audio e tecniche di narrazione, utilizzando dispositivi come emozioni, simbolismo e slogan per trasmettere significato. Mentre la ricerca precedente nella comprensione multimediale si è concentrata principalmente su video con azioni specifiche come la cucina, c'è una carenza di grandi dataset di addestramento annotati, ostacolando lo sviluppo di modelli di apprendimento supervisionato con prestazioni soddisfacenti per applicazioni nel mondo reale. Tuttavia, l'ascesa dei grandi modelli linguistici (LLM) ha dimostrato prestazioni zero-shot notevoli in vari compiti di elaborazione del linguaggio naturale (NLP), come la classificazione delle emozioni, il question-answering e la classificazione degli argomenti. Per colmare questo divario di prestazioni nella comprensione multimediale, proponiamo di verbalizzare i video narrativi per generare le loro descrizioni in linguaggio naturale e poi eseguire compiti di comprensione video sulla storia generata anziché sul video originale. Attraverso esperimenti estesi su cinque compiti di comprensione video, dimostriamo che il nostro metodo, nonostante sia zero-shot, ottiene risultati significativamente migliori rispetto ai baseline supervisionati per la comprensione video. Inoltre, per alleviare la mancanza di benchmark per la comprensione delle storie, rilasciamo pubblicamente il primo dataset su un compito cruciale nelle scienze sociali computazionali: l'identificazione delle strategie di persuasione.

English

Multimedia content, such as advertisements and story videos, exhibit a rich blend of creativity and multiple modalities. They incorporate elements like text, visuals, audio, and storytelling techniques, employing devices like emotions, symbolism, and slogans to convey meaning. While previous research in multimedia understanding has focused mainly on videos with specific actions like cooking, there is a dearth of large annotated training datasets, hindering the development of supervised learning models with satisfactory performance for real-world applications. However, the rise of large language models (LLMs) has witnessed remarkable zero-shot performance in various natural language processing (NLP) tasks, such as emotion classification, question-answering, and topic classification. To bridge this performance gap in multimedia understanding, we propose verbalizing story videos to generate their descriptions in natural language and then performing video-understanding tasks on the generated story as opposed to the original video. Through extensive experiments on five video-understanding tasks, we demonstrate that our method, despite being zero-shot, achieves significantly better results than supervised baselines for video understanding. Further, alleviating a lack of story understanding benchmarks, we publicly release the first dataset on a crucial task in computational social science, persuasion strategy identification.