Ein Video ist 4096 Tokene wert: Verbalisieren Sie Geschichtsvideos, um sie im Zero-Shot-Verfahren zu verstehen

A Video Is Worth 4096 Tokens: Verbalize Story Videos To Understand Them In Zero Shot

May 16, 2023

Autoren: Aanisha Bhattacharya, Yaman K Singla, Balaji Krishnamurthy, Rajiv Ratn Shah, Changyou Chen

cs.AI

Zusammenfassung

Multimedia-Inhalte wie Werbeanzeigen und Geschichtenvideos zeigen eine reiche Mischung aus Kreativität und multiplen Modalitäten. Sie integrieren Elemente wie Text, visuelle Inhalte, Audio und Erzähltechniken und nutzen Mittel wie Emotionen, Symbolik und Slogans, um Bedeutung zu vermitteln. Während sich frühere Forschungen im Bereich des Multimedia-Verständnisses hauptsächlich auf Videos mit spezifischen Handlungen wie Kochen konzentrierten, mangelt es an großen annotierten Trainingsdatensätzen, was die Entwicklung von überwachten Lernmodellen mit zufriedenstellender Leistung für reale Anwendungen behindert. Der Aufstieg großer Sprachmodelle (LLMs) hat jedoch bemerkenswerte Zero-Shot-Leistungen in verschiedenen Aufgaben der natürlichen Sprachverarbeitung (NLP) gezeigt, wie z. B. Emotionsklassifizierung, Frage-Antwort-Systeme und Themenklassifizierung. Um diese Leistungslücke im Multimedia-Verständnis zu schließen, schlagen wir vor, Geschichtenvideos zu verbalisieren, um ihre Beschreibungen in natürlicher Sprache zu generieren, und dann Video-Verständnisaufgaben auf der generierten Geschichte anstelle des ursprünglichen Videos durchzuführen. Durch umfangreiche Experimente zu fünf Video-Verständnisaufgaben zeigen wir, dass unsere Methode, obwohl sie Zero-Shot ist, signifikant bessere Ergebnisse erzielt als überwachte Baseline-Modelle für das Video-Verständnis. Darüber hinaus lindern wir den Mangel an Benchmarks für das Geschichtenverständnis, indem wir den ersten Datensatz zu einer entscheidenden Aufgabe in der Computational Social Science, der Identifikation von Überzeugungsstrategien, öffentlich zugänglich machen.

English

Multimedia content, such as advertisements and story videos, exhibit a rich blend of creativity and multiple modalities. They incorporate elements like text, visuals, audio, and storytelling techniques, employing devices like emotions, symbolism, and slogans to convey meaning. While previous research in multimedia understanding has focused mainly on videos with specific actions like cooking, there is a dearth of large annotated training datasets, hindering the development of supervised learning models with satisfactory performance for real-world applications. However, the rise of large language models (LLMs) has witnessed remarkable zero-shot performance in various natural language processing (NLP) tasks, such as emotion classification, question-answering, and topic classification. To bridge this performance gap in multimedia understanding, we propose verbalizing story videos to generate their descriptions in natural language and then performing video-understanding tasks on the generated story as opposed to the original video. Through extensive experiments on five video-understanding tasks, we demonstrate that our method, despite being zero-shot, achieves significantly better results than supervised baselines for video understanding. Further, alleviating a lack of story understanding benchmarks, we publicly release the first dataset on a crucial task in computational social science, persuasion strategy identification.