Het verenigen van gespecialiseerde visuele encoders voor video-taalmodellen

Unifying Specialized Visual Encoders for Video Language Models

January 2, 2025

Auteurs: Jihoon Chung, Tyler Zhu, Max Gonzalez Saez-Diez, Juan Carlos Niebles, Honglu Zhou, Olga Russakovsky

cs.AI

Samenvatting

De recente opkomst van Grote Taalmodellen (LLM's) heeft geavanceerde redeneervermogens naar het domein van video gebracht via Video Grote Taalmodellen (VideoLLM's). Echter, VideoLLM's vertrouwen momenteel op een enkele visuele encoder voor al hun visuele verwerking, wat de hoeveelheid en het type visuele informatie beperkt die aan de LLM kan worden overgebracht. Onze methode, MERV, Multi-Encoder Representatie van Video's, maakt in plaats daarvan gebruik van meerdere bevroren visuele encoders om een ​​geünificeerde representatie van een video te creëren, waardoor de VideoLLM wordt voorzien van een uitgebreide set gespecialiseerde visuele kennis. Door de kenmerken van elke encoder ruimtelijk en temporeel op elkaar af te stemmen, kunnen we een breder scala aan open en meerkeuze video begripsvragen aanpakken en beter presteren dan eerdere state-of-the-art werken. MERV is tot 3,7% nauwkeuriger dan Video-LLaVA op de standaard suite video begripsbenchmarks, en heeft ook een betere Video-ChatGPT-score. We verbeteren ook SeViLA, de vorige beste in zero-shot Perceptietestnauwkeurigheid, met 2,2%. MERV introduceert minimale extra parameters en traint sneller dan equivalente single-encoder methoden, terwijl het visuele verwerkingsproces wordt geparelliseerd. Tot slot bieden we kwalitatief bewijs dat MERV succesvol domeinkennis vastlegt van elke van zijn encoders. Onze resultaten bieden veelbelovende richtingen voor het benutten van meerdere visuele encoders voor een uitgebreid begrip van video's.

English

The recent advent of Large Language Models (LLMs) has ushered sophisticated reasoning capabilities into the realm of video through Video Large Language Models (VideoLLMs). However, VideoLLMs currently rely on a single vision encoder for all of their visual processing, which limits the amount and type of visual information that can be conveyed to the LLM. Our method, MERV, Multi-Encoder Representation of Videos, instead leverages multiple frozen visual encoders to create a unified representation of a video, providing the VideoLLM with a comprehensive set of specialized visual knowledge. Spatio-temporally aligning the features from each encoder allows us to tackle a wider range of open-ended and multiple-choice video understanding questions and outperform prior state-of-the-art works. MERV is up to 3.7% better in accuracy than Video-LLaVA across the standard suite video understanding benchmarks, while also having a better Video-ChatGPT score. We also improve upon SeViLA, the previous best on zero-shot Perception Test accuracy, by 2.2%. MERV introduces minimal extra parameters and trains faster than equivalent single-encoder methods while parallelizing the visual processing. Finally, we provide qualitative evidence that MERV successfully captures domain knowledge from each of its encoders. Our results offer promising directions in utilizing multiple vision encoders for comprehensive video understanding.