Vereinheitlichung spezialisierter visueller Kodierer für Video-Sprachmodelle

Unifying Specialized Visual Encoders for Video Language Models

January 2, 2025

Autoren: Jihoon Chung, Tyler Zhu, Max Gonzalez Saez-Diez, Juan Carlos Niebles, Honglu Zhou, Olga Russakovsky

cs.AI

Zusammenfassung

Das jüngste Aufkommen von Large Language Models (LLMs) hat anspruchsvolle Argumentationsfähigkeiten in den Bereich von Videos durch Video Large Language Models (VideoLLMs) eingeführt. Allerdings stützen sich VideoLLMs derzeit auf einen einzigen Vision-Encoder für ihre gesamte visuelle Verarbeitung, was die Menge und Art der visuellen Informationen begrenzt, die dem LLM vermittelt werden können. Unsere Methode, MERV, Multi-Encoder Representation of Videos, nutzt stattdessen mehrere eingefrorene visuelle Encoder, um eine vereinheitlichte Darstellung eines Videos zu erstellen und dem VideoLLM einen umfassenden Satz spezialisierter visueller Kenntnisse zur Verfügung zu stellen. Durch die räumlich-zeitliche Ausrichtung der Merkmale aus jedem Encoder können wir eine breitere Palette offener und Multiple-Choice-Verständnisfragen zu Videos angehen und frühere State-of-the-Art-Arbeiten übertreffen. MERV ist bis zu 3,7% genauer als Video-LLaVA bei den Standard-Suite-Videoverständnis-Benchmarks und weist auch einen besseren Video-ChatGPT-Score auf. Wir verbessern auch SeViLA, den bisher besten Null-Schuss-Perception-Test-Genauigkeitswert, um 2,2%. MERV führt minimale zusätzliche Parameter ein, trainiert schneller als äquivalente Single-Encoder-Methoden und parallelisiert die visuelle Verarbeitung. Schließlich liefern wir qualitative Beweise dafür, dass MERV erfolgreich Domänenwissen von jedem seiner Encoder erfasst. Unsere Ergebnisse bieten vielversprechende Ansätze zur Nutzung mehrerer Vision-Encoder für ein umfassendes Verständnis von Videos.

English

The recent advent of Large Language Models (LLMs) has ushered sophisticated reasoning capabilities into the realm of video through Video Large Language Models (VideoLLMs). However, VideoLLMs currently rely on a single vision encoder for all of their visual processing, which limits the amount and type of visual information that can be conveyed to the LLM. Our method, MERV, Multi-Encoder Representation of Videos, instead leverages multiple frozen visual encoders to create a unified representation of a video, providing the VideoLLM with a comprehensive set of specialized visual knowledge. Spatio-temporally aligning the features from each encoder allows us to tackle a wider range of open-ended and multiple-choice video understanding questions and outperform prior state-of-the-art works. MERV is up to 3.7% better in accuracy than Video-LLaVA across the standard suite video understanding benchmarks, while also having a better Video-ChatGPT score. We also improve upon SeViLA, the previous best on zero-shot Perception Test accuracy, by 2.2%. MERV introduces minimal extra parameters and trains faster than equivalent single-encoder methods while parallelizing the visual processing. Finally, we provide qualitative evidence that MERV successfully captures domain knowledge from each of its encoders. Our results offer promising directions in utilizing multiple vision encoders for comprehensive video understanding.