Alpha-CLIP: Un Modello CLIP che Si Concentra Ovunque Tu Desideri
Alpha-CLIP: A CLIP Model Focusing on Wherever You Want
December 6, 2023
Autori: Zeyi Sun, Ye Fang, Tong Wu, Pan Zhang, Yuhang Zang, Shu Kong, Yuanjun Xiong, Dahua Lin, Jiaqi Wang
cs.AI
Abstract
Il Contrastive Language-Image Pre-training (CLIP) svolge un ruolo essenziale nell'estrazione di informazioni preziose dal contenuto delle immagini in una vasta gamma di attività. Allinea le modalità testuali e visive per comprendere l'intera immagine, inclusi tutti i dettagli, anche quelli irrilevanti per compiti specifici. Tuttavia, per una comprensione più raffinata e un editing controllato delle immagini, diventa cruciale concentrarsi su regioni di interesse specifiche, che possono essere indicate come punti, maschere o riquadri da esseri umani o modelli di percezione. Per soddisfare queste esigenze, introduciamo Alpha-CLIP, una versione avanzata di CLIP con un canale alfa ausiliario per suggerire regioni attente e fine-tuned con milioni di coppie regione-testo RGBA costruite. Alpha-CLIP non solo preserva la capacità di riconoscimento visivo di CLIP, ma consente anche un controllo preciso sull'enfasi dei contenuti dell'immagine. Dimostra efficacia in varie attività, tra cui ma non limitate a riconoscimento in mondi aperti, modelli linguistici multimodali di grandi dimensioni e generazione condizionale 2D/3D. Ha un forte potenziale per servire come strumento versatile per attività legate alle immagini.
English
Contrastive Language-Image Pre-training (CLIP) plays an essential role in
extracting valuable content information from images across diverse tasks. It
aligns textual and visual modalities to comprehend the entire image, including
all the details, even those irrelevant to specific tasks. However, for a finer
understanding and controlled editing of images, it becomes crucial to focus on
specific regions of interest, which can be indicated as points, masks, or boxes
by humans or perception models. To fulfill the requirements, we introduce
Alpha-CLIP, an enhanced version of CLIP with an auxiliary alpha channel to
suggest attentive regions and fine-tuned with constructed millions of RGBA
region-text pairs. Alpha-CLIP not only preserves the visual recognition ability
of CLIP but also enables precise control over the emphasis of image contents.
It demonstrates effectiveness in various tasks, including but not limited to
open-world recognition, multimodal large language models, and conditional 2D /
3D generation. It has a strong potential to serve as a versatile tool for
image-related tasks.