Кодировщик восприятия: Наилучшие визуальные эмбеддинги находятся не на выходе сети.

Perception Encoder: The best visual embeddings are not at the output of the network

April 17, 2025

Авторы: Daniel Bolya, Po-Yao Huang, Peize Sun, Jang Hyun Cho, Andrea Madotto, Chen Wei, Tengyu Ma, Jiale Zhi, Jathushan Rajasegaran, Hanoona Rasheed, Junke Wang, Marco Monteiro, Hu Xu, Shiyu Dong, Nikhila Ravi, Daniel Li, Piotr Dollár, Christoph Feichtenhofer

cs.AI

Аннотация

Мы представляем Perception Encoder (PE) — современный кодировщик для понимания изображений и видео, обученный с помощью простого визуально-языкового обучения. Традиционно визуальные кодировщики полагались на различные предобучающие задачи, каждая из которых была адаптирована для конкретных прикладных задач, таких как классификация, генерация подписей или локализация. Удивительно, но после масштабирования нашей тщательно настроенной процедуры предобучения на изображениях и доработки с использованием нашего надежного механизма обработки видео, мы обнаружили, что контрастивное визуально-языковое обучение само по себе может создавать мощные, универсальные эмбеддинги для всех этих прикладных задач. Есть лишь одно ограничение: эти эмбеддинги скрыты в промежуточных слоях сети. Чтобы извлечь их, мы предлагаем два метода выравнивания: языковое выравнивание для мультимодального языкового моделирования и пространственное выравнивание для задач плотного предсказания. Вместе с основным контрастивным чекпоинтом наше семейство моделей PE достигает передовых результатов в широком спектре задач, включая классификацию и поиск изображений и видео с нулевым обучением; вопросы и ответы по документам, изображениям и видео; а также пространственные задачи, такие как детекция, оценка глубины и отслеживание. Для стимулирования дальнейших исследований мы публикуем наши модели, код и новый набор данных, содержащий синтетически и вручную аннотированные видео.

English

We introduce Perception Encoder (PE), a state-of-the-art encoder for image and video understanding trained via simple vision-language learning. Traditionally, vision encoders have relied on a variety of pretraining objectives, each tailored to specific downstream tasks such as classification, captioning, or localization. Surprisingly, after scaling our carefully tuned image pretraining recipe and refining with our robust video data engine, we find that contrastive vision-language training alone can produce strong, general embeddings for all of these downstream tasks. There is only one caveat: these embeddings are hidden within the intermediate layers of the network. To draw them out, we introduce two alignment methods, language alignment for multimodal language modeling, and spatial alignment for dense prediction. Together with the core contrastive checkpoint, our PE family of models achieves state-of-the-art performance on a wide variety of tasks, including zero-shot image and video classification and retrieval; document, image, and video Q&A; and spatial tasks such as detection, depth estimation, and tracking. To foster further research, we are releasing our models, code, and a novel dataset of synthetically and human-annotated videos.