Alpha-CLIP: Модель CLIP, Сосредоточенная на Том, Что Вам Нужно
Alpha-CLIP: A CLIP Model Focusing on Wherever You Want
December 6, 2023
Авторы: Zeyi Sun, Ye Fang, Tong Wu, Pan Zhang, Yuhang Zang, Shu Kong, Yuanjun Xiong, Dahua Lin, Jiaqi Wang
cs.AI
Аннотация
Контрастное предобучение для языка и изображений (CLIP) играет ключевую роль в извлечении ценной информации из изображений для решения разнообразных задач. Оно согласует текстовые и визуальные модальности, чтобы охватить всё изображение целиком, включая все детали, даже те, которые не имеют отношения к конкретным задачам. Однако для более глубокого понимания и контролируемого редактирования изображений становится важным сосредоточиться на определённых областях интереса, которые могут быть обозначены точками, масками или рамками, заданными человеком или моделями восприятия. Для удовлетворения этих требований мы представляем Alpha-CLIP — улучшенную версию CLIP с дополнительным альфа-каналом, указывающим на внимательные области, и дообученную на миллионах созданных пар RGBA-регионов и текстов. Alpha-CLIP не только сохраняет способность CLIP к визуальному распознаванию, но и обеспечивает точный контроль над акцентированием содержимого изображений. Она демонстрирует эффективность в различных задачах, включая, но не ограничиваясь, распознаванием в открытом мире, мультимодальными большими языковыми моделями и условной 2D/3D генерацией. Alpha-CLIP обладает большим потенциалом для использования в качестве универсального инструмента для задач, связанных с изображениями.
English
Contrastive Language-Image Pre-training (CLIP) plays an essential role in
extracting valuable content information from images across diverse tasks. It
aligns textual and visual modalities to comprehend the entire image, including
all the details, even those irrelevant to specific tasks. However, for a finer
understanding and controlled editing of images, it becomes crucial to focus on
specific regions of interest, which can be indicated as points, masks, or boxes
by humans or perception models. To fulfill the requirements, we introduce
Alpha-CLIP, an enhanced version of CLIP with an auxiliary alpha channel to
suggest attentive regions and fine-tuned with constructed millions of RGBA
region-text pairs. Alpha-CLIP not only preserves the visual recognition ability
of CLIP but also enables precise control over the emphasis of image contents.
It demonstrates effectiveness in various tasks, including but not limited to
open-world recognition, multimodal large language models, and conditional 2D /
3D generation. It has a strong potential to serve as a versatile tool for
image-related tasks.