MultiVENT 2.0: Массивный многоязычный бенчмарк для поиска видео на основе событий.

MultiVENT 2.0: A Massive Multilingual Benchmark for Event-Centric Video Retrieval

October 15, 2024

Авторы: Reno Kriz, Kate Sanders, David Etter, Kenton Murray, Cameron Carpenter, Kelly Van Ochten, Hannah Recknor, Jimena Guallar-Blasco, Alexander Martin, Ronald Colaianni, Nolan King, Eugene Yang, Benjamin Van Durme

cs.AI

Аннотация

Эффективное извлечение и синтез информации из масштабных мультимодальных коллекций стало критической задачей. Однако существующие наборы данных для поиска видео страдают от ограничений в области применения, в основном сосредотачиваясь на сопоставлении описательных, но неопределенных запросов с небольшими коллекциями профессионально отредактированных видеороликов на английском языке. Для решения этого пробела мы представляем MultiVENT 2.0, крупномасштабный, многоязычный набор данных для поиска видео, собравший коллекцию из более чем 218 000 новостных видеороликов и 3 906 запросов, нацеленных на конкретные мировые события. Эти запросы специально ориентированы на информацию, содержащуюся в визуальном контенте, аудио, встроенном тексте и текстовых метаданных видеороликов, требуя от систем использования всех этих источников для успешного выполнения задачи. Предварительные результаты показывают, что современные модели визуально-языкового взаимодействия значительно затрудняются с этой задачей, и хотя альтернативные подходы показывают некоторые перспективы, они все еще недостаточны для адекватного решения этой проблемы. Эти результаты подчеркивают необходимость более надежных мультимодальных систем поиска, поскольку эффективный поиск видео является ключевым шагом к пониманию и генерации мультимодального контента.

English

Efficiently retrieving and synthesizing information from large-scale multimodal collections has become a critical challenge. However, existing video retrieval datasets suffer from scope limitations, primarily focusing on matching descriptive but vague queries with small collections of professionally edited, English-centric videos. To address this gap, we introduce MultiVENT 2.0, a large-scale, multilingual event-centric video retrieval benchmark featuring a collection of more than 218,000 news videos and 3,906 queries targeting specific world events. These queries specifically target information found in the visual content, audio, embedded text, and text metadata of the videos, requiring systems leverage all these sources to succeed at the task. Preliminary results show that state-of-the-art vision-language models struggle significantly with this task, and while alternative approaches show promise, they are still insufficient to adequately address this problem. These findings underscore the need for more robust multimodal retrieval systems, as effective video retrieval is a crucial step towards multimodal content understanding and generation tasks.