Codificador de Percepción: Las mejores incrustaciones visuales no se encuentran en la salida de la red.

Perception Encoder: The best visual embeddings are not at the output of the network

April 17, 2025

Autores: Daniel Bolya, Po-Yao Huang, Peize Sun, Jang Hyun Cho, Andrea Madotto, Chen Wei, Tengyu Ma, Jiale Zhi, Jathushan Rajasegaran, Hanoona Rasheed, Junke Wang, Marco Monteiro, Hu Xu, Shiyu Dong, Nikhila Ravi, Daniel Li, Piotr Dollár, Christoph Feichtenhofer

cs.AI

Resumen

Presentamos Perception Encoder (PE), un codificador de última generación para la comprensión de imágenes y videos entrenado mediante un aprendizaje simple de visión y lenguaje. Tradicionalmente, los codificadores de visión han dependido de una variedad de objetivos de preentrenamiento, cada uno adaptado a tareas específicas como clasificación, generación de subtítulos o localización. Sorprendentemente, después de escalar nuestra receta cuidadosamente ajustada de preentrenamiento de imágenes y refinar con nuestro robusto motor de datos de video, descubrimos que el entrenamiento contrastivo de visión y lenguaje por sí solo puede producir incrustaciones fuertes y generales para todas estas tareas posteriores. Solo hay una salvedad: estas incrustaciones están ocultas en las capas intermedias de la red. Para extraerlas, introducimos dos métodos de alineación: alineación de lenguaje para modelado de lenguaje multimodal y alineación espacial para predicción densa. Junto con el punto de control contrastivo central, nuestra familia de modelos PE logra un rendimiento de vanguardia en una amplia variedad de tareas, incluyendo clasificación y recuperación de imágenes y videos en modo zero-shot; preguntas y respuestas sobre documentos, imágenes y videos; y tareas espaciales como detección, estimación de profundidad y seguimiento. Para fomentar más investigaciones, estamos liberando nuestros modelos, código y un nuevo conjunto de datos de videos anotados sintéticamente y por humanos.

English

We introduce Perception Encoder (PE), a state-of-the-art encoder for image and video understanding trained via simple vision-language learning. Traditionally, vision encoders have relied on a variety of pretraining objectives, each tailored to specific downstream tasks such as classification, captioning, or localization. Surprisingly, after scaling our carefully tuned image pretraining recipe and refining with our robust video data engine, we find that contrastive vision-language training alone can produce strong, general embeddings for all of these downstream tasks. There is only one caveat: these embeddings are hidden within the intermediate layers of the network. To draw them out, we introduce two alignment methods, language alignment for multimodal language modeling, and spatial alignment for dense prediction. Together with the core contrastive checkpoint, our PE family of models achieves state-of-the-art performance on a wide variety of tasks, including zero-shot image and video classification and retrieval; document, image, and video Q&A; and spatial tasks such as detection, depth estimation, and tracking. To foster further research, we are releasing our models, code, and a novel dataset of synthetically and human-annotated videos.