LongVideoBench: Набор данных для оценки понимания видео и языка с длинным контекстом

LongVideoBench: A Benchmark for Long-context Interleaved Video-Language Understanding

July 22, 2024

Авторы: Haoning Wu, Dongxu Li, Bei Chen, Junnan Li

cs.AI

Аннотация

Большие мультимодальные модели (LMM) обрабатывают все более длинные и богатые входные данные. Несмотря на прогресс, доступно немного общедоступных бенчмарков для измерения такого развития. Для устранения этого пробела мы представляем LongVideoBench, бенчмарк вопросно-ответной системы, который предлагает входные данные, чередующие видео и язык, продолжительностью до часа. Наш бенчмарк включает 3 763 видео различной длины, собранных из интернета, с их субтитрами по разнообразным темам, разработанный для всесторонней оценки LMM в понимании мультимодальных данных на длительный срок. Для достижения этой цели мы интерпретируем основное испытание как точное извлечение и рассуждение над детальной мультимодальной информацией из длинных входных данных. Таким образом, мы формулируем новую задачу вопросно-ответной системы для видео, названную "референтное рассуждение". Конкретно, в рамках вопроса содержится запрос, ссылающийся на связанные видеоконтексты, называемый упомянутым контекстом. Затем модель должна рассуждать о соответствующих деталях видео из упомянутого контекста. Следуя парадигме референтного рассуждения, мы составляем 6 678 человеко-аннотированных вопросов с множественным выбором в 17 детализированных категориях, создавая один из наиболее всесторонних бенчмарков для понимания видео длительного формата. Оценки показывают, что LongVideoBench представляет существенные вызовы даже для самых передовых собственных моделей (например, GPT-4o, Gemini-1.5-Pro, GPT-4-Turbo), в то время как их открытые аналоги показывают еще большую разницу в производительности. Кроме того, наши результаты показывают, что производительность модели на бенчмарке улучшается только тогда, когда они способны обрабатывать больше кадров, позиционируя LongVideoBench как ценный бенчмарк для оценки мультимодальных LMM длинного контекста будущего поколения.

English

Large multimodal models (LMMs) are processing increasingly longer and richer inputs. Albeit the progress, few public benchmark is available to measure such development. To mitigate this gap, we introduce LongVideoBench, a question-answering benchmark that features video-language interleaved inputs up to an hour long. Our benchmark includes 3,763 varying-length web-collected videos with their subtitles across diverse themes, designed to comprehensively evaluate LMMs on long-term multimodal understanding. To achieve this, we interpret the primary challenge as to accurately retrieve and reason over detailed multimodal information from long inputs. As such, we formulate a novel video question-answering task termed referring reasoning. Specifically, as part of the question, it contains a referring query that references related video contexts, called referred context. The model is then required to reason over relevant video details from the referred context. Following the paradigm of referring reasoning, we curate 6,678 human-annotated multiple-choice questions in 17 fine-grained categories, establishing one of the most comprehensive benchmarks for long-form video understanding. Evaluations suggest that the LongVideoBench presents significant challenges even for the most advanced proprietary models (e.g. GPT-4o, Gemini-1.5-Pro, GPT-4-Turbo), while their open-source counterparts show an even larger performance gap. In addition, our results indicate that model performance on the benchmark improves only when they are capable of processing more frames, positioning LongVideoBench as a valuable benchmark for evaluating future-generation long-context LMMs.