Codificador de Percepção: Os melhores embeddings visuais não estão na saída da rede

Perception Encoder: The best visual embeddings are not at the output of the network

April 17, 2025

Autores: Daniel Bolya, Po-Yao Huang, Peize Sun, Jang Hyun Cho, Andrea Madotto, Chen Wei, Tengyu Ma, Jiale Zhi, Jathushan Rajasegaran, Hanoona Rasheed, Junke Wang, Marco Monteiro, Hu Xu, Shiyu Dong, Nikhila Ravi, Daniel Li, Piotr Dollár, Christoph Feichtenhofer

cs.AI

Resumo

Apresentamos o Perception Encoder (PE), um codificador de última geração para compreensão de imagens e vídeos treinado por meio de aprendizado simples de visão e linguagem. Tradicionalmente, os codificadores visuais têm dependido de uma variedade de objetivos de pré-treinamento, cada um adaptado a tarefas específicas, como classificação, legendagem ou localização. Surpreendentemente, após escalonar nossa receita cuidadosamente ajustada de pré-treinamento de imagens e refiná-la com nosso robusto mecanismo de dados de vídeo, descobrimos que o treinamento contrastivo de visão e linguagem por si só pode produzir embeddings fortes e generalizáveis para todas essas tarefas subsequentes. Há apenas uma ressalva: esses embeddings estão ocultos nas camadas intermediárias da rede. Para extraí-los, introduzimos dois métodos de alinhamento: alinhamento de linguagem para modelagem multimodal de linguagem e alinhamento espacial para previsão densa. Juntamente com o ponto de verificação contrastivo central, nossa família de modelos PE alcança desempenho de última geração em uma ampla variedade de tarefas, incluindo classificação e recuperação de imagens e vídeos em zero-shot; perguntas e respostas sobre documentos, imagens e vídeos; e tarefas espaciais como detecção, estimativa de profundidade e rastreamento. Para promover pesquisas adicionais, estamos disponibilizando nossos modelos, código e um novo conjunto de dados de vídeos anotados sinteticamente e por humanos.

English

We introduce Perception Encoder (PE), a state-of-the-art encoder for image and video understanding trained via simple vision-language learning. Traditionally, vision encoders have relied on a variety of pretraining objectives, each tailored to specific downstream tasks such as classification, captioning, or localization. Surprisingly, after scaling our carefully tuned image pretraining recipe and refining with our robust video data engine, we find that contrastive vision-language training alone can produce strong, general embeddings for all of these downstream tasks. There is only one caveat: these embeddings are hidden within the intermediate layers of the network. To draw them out, we introduce two alignment methods, language alignment for multimodal language modeling, and spatial alignment for dense prediction. Together with the core contrastive checkpoint, our PE family of models achieves state-of-the-art performance on a wide variety of tasks, including zero-shot image and video classification and retrieval; document, image, and video Q&A; and spatial tasks such as detection, depth estimation, and tracking. To foster further research, we are releasing our models, code, and a novel dataset of synthetically and human-annotated videos.