Unification des encodeurs visuels spécialisés pour les modèles de langage vidéo

Unifying Specialized Visual Encoders for Video Language Models

January 2, 2025

Auteurs: Jihoon Chung, Tyler Zhu, Max Gonzalez Saez-Diez, Juan Carlos Niebles, Honglu Zhou, Olga Russakovsky

cs.AI

Résumé

L'avènement récent des Grands Modèles de Langage (GML) a introduit des capacités de raisonnement sophistiquées dans le domaine de la vidéo à travers les Grands Modèles de Langage Vidéo (VideoLLM). Cependant, les VideoLLM s'appuient actuellement sur un seul encodeur visuel pour tout leur traitement visuel, ce qui limite la quantité et le type d'informations visuelles pouvant être transmises au GML. Notre méthode, MERV, Représentation Multi-Encodeurs de Vidéos, exploite plutôt plusieurs encodeurs visuels figés pour créer une représentation unifiée d'une vidéo, fournissant au VideoLLM un ensemble complet de connaissances visuelles spécialisées. L'alignement spatio-temporel des caractéristiques de chaque encodeur nous permet d'aborder un éventail plus large de questions de compréhension vidéo ouvertes et à choix multiples et de surpasser les travaux précédents de pointe. MERV est jusqu'à 3,7 % plus précis que Video-LLaVA sur les benchmarks standard de compréhension vidéo, tout en obtenant un meilleur score Video-ChatGPT. Nous améliorons également SeViLA, le précédent meilleur en termes de précision du Test de Perception à zéro, de 2,2 %. MERV introduit un nombre minimal de paramètres supplémentaires et se forme plus rapidement que les méthodes à encodeur unique équivalentes tout en parallélisant le traitement visuel. Enfin, nous fournissons des preuves qualitatives que MERV capture avec succès les connaissances de domaine de chacun de ses encodeurs. Nos résultats offrent des perspectives prometteuses pour l'utilisation de plusieurs encodeurs visuels dans la compréhension vidéo complète.

English

The recent advent of Large Language Models (LLMs) has ushered sophisticated reasoning capabilities into the realm of video through Video Large Language Models (VideoLLMs). However, VideoLLMs currently rely on a single vision encoder for all of their visual processing, which limits the amount and type of visual information that can be conveyed to the LLM. Our method, MERV, Multi-Encoder Representation of Videos, instead leverages multiple frozen visual encoders to create a unified representation of a video, providing the VideoLLM with a comprehensive set of specialized visual knowledge. Spatio-temporally aligning the features from each encoder allows us to tackle a wider range of open-ended and multiple-choice video understanding questions and outperform prior state-of-the-art works. MERV is up to 3.7% better in accuracy than Video-LLaVA across the standard suite video understanding benchmarks, while also having a better Video-ChatGPT score. We also improve upon SeViLA, the previous best on zero-shot Perception Test accuracy, by 2.2%. MERV introduces minimal extra parameters and trains faster than equivalent single-encoder methods while parallelizing the visual processing. Finally, we provide qualitative evidence that MERV successfully captures domain knowledge from each of its encoders. Our results offer promising directions in utilizing multiple vision encoders for comprehensive video understanding.