MultiVENT 2.0: Ein umfangreicher mehrsprachiger Benchmark für ereigniszentrierte Videorecherche

MultiVENT 2.0: A Massive Multilingual Benchmark for Event-Centric Video Retrieval

October 15, 2024

Autoren: Reno Kriz, Kate Sanders, David Etter, Kenton Murray, Cameron Carpenter, Kelly Van Ochten, Hannah Recknor, Jimena Guallar-Blasco, Alexander Martin, Ronald Colaianni, Nolan King, Eugene Yang, Benjamin Van Durme

cs.AI

Zusammenfassung

Das effiziente Abrufen und Synthetisieren von Informationen aus umfangreichen multimodalen Sammlungen ist zu einer entscheidenden Herausforderung geworden. Allerdings leiden bestehende Videorückgewinnungsdatensätze unter Umfangsbeschränkungen, die sich hauptsächlich auf die Zuordnung von beschreibenden, aber vagen Abfragen mit kleinen Sammlungen professionell bearbeiteter, englischzentrierter Videos konzentrieren. Um diese Lücke zu schließen, stellen wir MultiVENT 2.0 vor, einen umfangreichen, mehrsprachigen, ereigniszentrierten Videorückgewinnungsbenchmark, der eine Sammlung von mehr als 218.000 Nachrichtenvideos und 3.906 Abfragen zu spezifischen Weltgeschehnissen umfasst. Diese Abfragen zielen speziell auf Informationen ab, die im visuellen Inhalt, im Audio, im eingebetteten Text und in den Textmetadaten der Videos gefunden werden, wobei Systeme alle diese Quellen nutzen müssen, um bei der Aufgabe erfolgreich zu sein. Vorläufige Ergebnisse zeigen, dass modernste Bildsprachmodelle erhebliche Schwierigkeiten mit dieser Aufgabe haben, und obwohl alternative Ansätze vielversprechend sind, reichen sie immer noch nicht aus, um dieses Problem angemessen anzugehen. Diese Erkenntnisse unterstreichen die Notwendigkeit robusterer multimodaler Rückgewinnungssysteme, da eine effektive Videorückgewinnung ein entscheidender Schritt hin zu multimodalen Inhaltsverständnis- und Generierungsaufgaben ist.

English

Efficiently retrieving and synthesizing information from large-scale multimodal collections has become a critical challenge. However, existing video retrieval datasets suffer from scope limitations, primarily focusing on matching descriptive but vague queries with small collections of professionally edited, English-centric videos. To address this gap, we introduce MultiVENT 2.0, a large-scale, multilingual event-centric video retrieval benchmark featuring a collection of more than 218,000 news videos and 3,906 queries targeting specific world events. These queries specifically target information found in the visual content, audio, embedded text, and text metadata of the videos, requiring systems leverage all these sources to succeed at the task. Preliminary results show that state-of-the-art vision-language models struggle significantly with this task, and while alternative approaches show promise, they are still insufficient to adequately address this problem. These findings underscore the need for more robust multimodal retrieval systems, as effective video retrieval is a crucial step towards multimodal content understanding and generation tasks.