Encodeur de perception : Les meilleurs embeddings visuels ne se trouvent pas à la sortie du réseau

Perception Encoder: The best visual embeddings are not at the output of the network

April 17, 2025

Auteurs: Daniel Bolya, Po-Yao Huang, Peize Sun, Jang Hyun Cho, Andrea Madotto, Chen Wei, Tengyu Ma, Jiale Zhi, Jathushan Rajasegaran, Hanoona Rasheed, Junke Wang, Marco Monteiro, Hu Xu, Shiyu Dong, Nikhila Ravi, Daniel Li, Piotr Dollár, Christoph Feichtenhofer

cs.AI

Résumé

Nous présentons Perception Encoder (PE), un encodeur de pointe pour la compréhension d'images et de vidéos, entraîné via un apprentissage simple vision-langage. Traditionnellement, les encodeurs visuels s'appuyaient sur une variété d'objectifs de pré-entraînement, chacun adapté à des tâches spécifiques telles que la classification, la génération de légendes ou la localisation. Étonnamment, après avoir mis à l'échelle notre recette de pré-entraînement d'images soigneusement ajustée et l'avoir affinée avec notre moteur de données vidéo robuste, nous constatons que l'entraînement contrastif vision-langage seul peut produire des embeddings forts et généralisables pour toutes ces tâches en aval. Il n'y a qu'une seule réserve : ces embeddings sont cachés dans les couches intermédiaires du réseau. Pour les extraire, nous introduisons deux méthodes d'alignement : l'alignement langagier pour la modélisation multimodale du langage, et l'alignement spatial pour la prédiction dense. Avec le point de contrôle contrastif central, notre famille de modèles PE atteint des performances de pointe sur une grande variété de tâches, notamment la classification et la recherche d'images et de vidéos en zero-shot ; les Q&A sur des documents, images et vidéos ; ainsi que des tâches spatiales telles que la détection, l'estimation de profondeur et le suivi. Pour favoriser des recherches ultérieures, nous mettons à disposition nos modèles, notre code et un nouveau jeu de données de vidéos annotées synthétiquement et par des humains.

English

We introduce Perception Encoder (PE), a state-of-the-art encoder for image and video understanding trained via simple vision-language learning. Traditionally, vision encoders have relied on a variety of pretraining objectives, each tailored to specific downstream tasks such as classification, captioning, or localization. Surprisingly, after scaling our carefully tuned image pretraining recipe and refining with our robust video data engine, we find that contrastive vision-language training alone can produce strong, general embeddings for all of these downstream tasks. There is only one caveat: these embeddings are hidden within the intermediate layers of the network. To draw them out, we introduce two alignment methods, language alignment for multimodal language modeling, and spatial alignment for dense prediction. Together with the core contrastive checkpoint, our PE family of models achieves state-of-the-art performance on a wide variety of tasks, including zero-shot image and video classification and retrieval; document, image, and video Q&A; and spatial tasks such as detection, depth estimation, and tracking. To foster further research, we are releasing our models, code, and a novel dataset of synthetically and human-annotated videos.