Perception Encoder: Die besten visuellen Embeddings befinden sich nicht am Ausgang des Netzwerks.

Perception Encoder: The best visual embeddings are not at the output of the network

April 17, 2025

Autoren: Daniel Bolya, Po-Yao Huang, Peize Sun, Jang Hyun Cho, Andrea Madotto, Chen Wei, Tengyu Ma, Jiale Zhi, Jathushan Rajasegaran, Hanoona Rasheed, Junke Wang, Marco Monteiro, Hu Xu, Shiyu Dong, Nikhila Ravi, Daniel Li, Piotr Dollár, Christoph Feichtenhofer

cs.AI

Zusammenfassung

Wir stellen Perception Encoder (PE) vor, einen modernen Encoder für das Verständnis von Bildern und Videos, der durch einfaches Vision-Language-Lernen trainiert wird. Traditionell haben Vision-Encoder auf einer Vielzahl von Vorab-Trainingszielen basiert, die jeweils auf spezifische nachgelagerte Aufgaben wie Klassifizierung, Beschriftung oder Lokalisierung zugeschnitten waren. Überraschenderweise stellen wir fest, dass kontrastives Vision-Language-Training allein, nach der Skalierung unseres sorgfältig abgestimmten Bild-Vorab-Trainingsrezepts und der Verfeinerung mit unserer robusten Video-Daten-Engine, starke, allgemeine Embeddings für all diese nachgelagerten Aufgaben erzeugen kann. Es gibt jedoch einen Haken: Diese Embeddings sind in den Zwischenschichten des Netzwerks verborgen. Um sie hervorzuholen, führen wir zwei Ausrichtungsmethoden ein: Sprachausrichtung für multimodales Sprachmodellieren und räumliche Ausrichtung für dichte Vorhersagen. Zusammen mit dem zentralen kontrastiven Checkpoint erreicht unsere PE-Modellfamilie Spitzenleistungen in einer Vielzahl von Aufgaben, einschließlich Zero-Shot-Bild- und Videoklassifizierung und -retrieval; Dokument-, Bild- und Video-Fragen und -Antworten; sowie räumliche Aufgaben wie Erkennung, Tiefenschätzung und Tracking. Um die weitere Forschung zu fördern, veröffentlichen wir unsere Modelle, Code und einen neuartigen Datensatz synthetisch und menschlich annotierter Videos.

English

We introduce Perception Encoder (PE), a state-of-the-art encoder for image and video understanding trained via simple vision-language learning. Traditionally, vision encoders have relied on a variety of pretraining objectives, each tailored to specific downstream tasks such as classification, captioning, or localization. Surprisingly, after scaling our carefully tuned image pretraining recipe and refining with our robust video data engine, we find that contrastive vision-language training alone can produce strong, general embeddings for all of these downstream tasks. There is only one caveat: these embeddings are hidden within the intermediate layers of the network. To draw them out, we introduce two alignment methods, language alignment for multimodal language modeling, and spatial alignment for dense prediction. Together with the core contrastive checkpoint, our PE family of models achieves state-of-the-art performance on a wide variety of tasks, including zero-shot image and video classification and retrieval; document, image, and video Q&A; and spatial tasks such as detection, depth estimation, and tracking. To foster further research, we are releasing our models, code, and a novel dataset of synthetically and human-annotated videos.