MultiVENT 2.0: un ampio benchmark multilingue per il recupero di video centrato sugli eventi.

MultiVENT 2.0: A Massive Multilingual Benchmark for Event-Centric Video Retrieval

October 15, 2024

Autori: Reno Kriz, Kate Sanders, David Etter, Kenton Murray, Cameron Carpenter, Kelly Van Ochten, Hannah Recknor, Jimena Guallar-Blasco, Alexander Martin, Ronald Colaianni, Nolan King, Eugene Yang, Benjamin Van Durme

cs.AI

Abstract

Recuperare ed elaborare efficientemente informazioni da collezioni multimodali su larga scala è diventato una sfida critica. Tuttavia, i dataset esistenti per il recupero video presentano limitazioni di portata, concentrandosi principalmente sull'abbinamento di query descrittive ma vaghe con piccole collezioni di video professionalmente editati, prevalentemente in lingua inglese. Per colmare questa lacuna, presentiamo MultiVENT 2.0, un benchmark di recupero video centrato sugli eventi su larga scala e multilingue che include una raccolta di oltre 218.000 video di notizie e 3.906 query mirate a eventi mondiali specifici. Queste query mirano specificamente alle informazioni presenti nei contenuti visivi, nell'audio, nel testo integrato e nei metadati testuali dei video, richiedendo che i sistemi sfruttino tutte queste fonti per avere successo nel compito. I risultati preliminari mostrano che i modelli di visione-linguaggio all'avanguardia faticano significativamente con questo compito e, sebbene approcci alternativi mostrino promesse, sono ancora insufficienti per affrontare adeguatamente questo problema. Queste scoperte sottolineano la necessità di sistemi di recupero multimodali più robusti, poiché il recupero video efficace è un passo cruciale verso compiti di comprensione e generazione di contenuti multimodali.

English

Efficiently retrieving and synthesizing information from large-scale multimodal collections has become a critical challenge. However, existing video retrieval datasets suffer from scope limitations, primarily focusing on matching descriptive but vague queries with small collections of professionally edited, English-centric videos. To address this gap, we introduce MultiVENT 2.0, a large-scale, multilingual event-centric video retrieval benchmark featuring a collection of more than 218,000 news videos and 3,906 queries targeting specific world events. These queries specifically target information found in the visual content, audio, embedded text, and text metadata of the videos, requiring systems leverage all these sources to succeed at the task. Preliminary results show that state-of-the-art vision-language models struggle significantly with this task, and while alternative approaches show promise, they are still insufficient to adequately address this problem. These findings underscore the need for more robust multimodal retrieval systems, as effective video retrieval is a crucial step towards multimodal content understanding and generation tasks.