Encoder di Percezione: Le migliori rappresentazioni visive non si trovano all'output della rete

Perception Encoder: The best visual embeddings are not at the output of the network

April 17, 2025

Autori: Daniel Bolya, Po-Yao Huang, Peize Sun, Jang Hyun Cho, Andrea Madotto, Chen Wei, Tengyu Ma, Jiale Zhi, Jathushan Rajasegaran, Hanoona Rasheed, Junke Wang, Marco Monteiro, Hu Xu, Shiyu Dong, Nikhila Ravi, Daniel Li, Piotr Dollár, Christoph Feichtenhofer

cs.AI

Abstract

Presentiamo Perception Encoder (PE), un encoder all'avanguardia per la comprensione di immagini e video, addestrato tramite un semplice apprendimento visione-linguaggio. Tradizionalmente, gli encoder visivi si sono basati su una varietà di obiettivi di pre-addestramento, ciascuno ottimizzato per specifici task downstream come classificazione, descrizione o localizzazione. Sorprendentemente, dopo aver scalato la nostra ricetta di pre-addestramento su immagini accuratamente calibrata e raffinata con il nostro robusto motore di dati video, abbiamo scoperto che il training contrastivo visione-linguaggio da solo può produrre embedding forti e generali per tutti questi task downstream. C'è solo un caveat: questi embedding sono nascosti all'interno degli strati intermedi della rete. Per estrarli, introduciamo due metodi di allineamento: l'allineamento linguistico per la modellazione del linguaggio multimodale e l'allineamento spaziale per la predizione densa. Insieme al checkpoint contrastivo principale, la nostra famiglia di modelli PE raggiunge prestazioni all'avanguardia su una vasta gamma di task, tra cui la classificazione e il retrieval zero-shot di immagini e video; Q&A su documenti, immagini e video; e task spaziali come rilevamento, stima della profondità e tracking. Per promuovere ulteriori ricerche, stiamo rilasciando i nostri modelli, il codice e un nuovo dataset di video annotati sinteticamente e manualmente.

English

We introduce Perception Encoder (PE), a state-of-the-art encoder for image and video understanding trained via simple vision-language learning. Traditionally, vision encoders have relied on a variety of pretraining objectives, each tailored to specific downstream tasks such as classification, captioning, or localization. Surprisingly, after scaling our carefully tuned image pretraining recipe and refining with our robust video data engine, we find that contrastive vision-language training alone can produce strong, general embeddings for all of these downstream tasks. There is only one caveat: these embeddings are hidden within the intermediate layers of the network. To draw them out, we introduce two alignment methods, language alignment for multimodal language modeling, and spatial alignment for dense prediction. Together with the core contrastive checkpoint, our PE family of models achieves state-of-the-art performance on a wide variety of tasks, including zero-shot image and video classification and retrieval; document, image, and video Q&A; and spatial tasks such as detection, depth estimation, and tracking. To foster further research, we are releasing our models, code, and a novel dataset of synthetically and human-annotated videos.