Alpha-CLIP: Un modelo CLIP que se enfoca donde usted desee
Alpha-CLIP: A CLIP Model Focusing on Wherever You Want
December 6, 2023
Autores: Zeyi Sun, Ye Fang, Tong Wu, Pan Zhang, Yuhang Zang, Shu Kong, Yuanjun Xiong, Dahua Lin, Jiaqi Wang
cs.AI
Resumen
El preentrenamiento de lenguaje e imagen contrastivo (CLIP) desempeña un papel esencial en la extracción de información valiosa de contenido en imágenes para diversas tareas. Alinea las modalidades textual y visual para comprender la imagen completa, incluyendo todos los detalles, incluso aquellos irrelevantes para tareas específicas. Sin embargo, para un entendimiento más fino y una edición controlada de imágenes, resulta crucial enfocarse en regiones de interés específicas, las cuales pueden ser indicadas como puntos, máscaras o cuadros delimitadores por humanos o modelos de percepción. Para cumplir con estos requisitos, presentamos Alpha-CLIP, una versión mejorada de CLIP con un canal alfa auxiliar para sugerir regiones atentivas y ajustada con millones de pares de región-texto RGBA construidos. Alpha-CLIP no solo preserva la capacidad de reconocimiento visual de CLIP, sino que también permite un control preciso sobre el énfasis del contenido de las imágenes. Demuestra su eficacia en diversas tareas, incluyendo, pero no limitándose a, reconocimiento en mundo abierto, modelos de lenguaje multimodal de gran escala y generación condicional 2D/3D. Tiene un fuerte potencial para servir como una herramienta versátil en tareas relacionadas con imágenes.
English
Contrastive Language-Image Pre-training (CLIP) plays an essential role in
extracting valuable content information from images across diverse tasks. It
aligns textual and visual modalities to comprehend the entire image, including
all the details, even those irrelevant to specific tasks. However, for a finer
understanding and controlled editing of images, it becomes crucial to focus on
specific regions of interest, which can be indicated as points, masks, or boxes
by humans or perception models. To fulfill the requirements, we introduce
Alpha-CLIP, an enhanced version of CLIP with an auxiliary alpha channel to
suggest attentive regions and fine-tuned with constructed millions of RGBA
region-text pairs. Alpha-CLIP not only preserves the visual recognition ability
of CLIP but also enables precise control over the emphasis of image contents.
It demonstrates effectiveness in various tasks, including but not limited to
open-world recognition, multimodal large language models, and conditional 2D /
3D generation. It has a strong potential to serve as a versatile tool for
image-related tasks.