Alpha-CLIP : Un modèle CLIP qui se concentre là où vous le souhaitez
Alpha-CLIP: A CLIP Model Focusing on Wherever You Want
December 6, 2023
Auteurs: Zeyi Sun, Ye Fang, Tong Wu, Pan Zhang, Yuhang Zang, Shu Kong, Yuanjun Xiong, Dahua Lin, Jiaqi Wang
cs.AI
Résumé
Le pré-entraînement contrastif langue-image (CLIP) joue un rôle essentiel dans l'extraction d'informations précieuses à partir d'images pour diverses tâches. Il aligne les modalités textuelles et visuelles pour comprendre l'image dans son ensemble, y compris tous les détails, même ceux non pertinents pour des tâches spécifiques. Cependant, pour une compréhension plus fine et un contrôle éditorial des images, il devient crucial de se concentrer sur des régions d'intérêt spécifiques, qui peuvent être indiquées par des points, des masques ou des boîtes par des humains ou des modèles de perception. Pour répondre à ces besoins, nous introduisons Alpha-CLIP, une version améliorée de CLIP dotée d'un canal alpha auxiliaire pour suggérer des régions d'attention et affinée avec des millions de paires région-texte RGBA construites. Alpha-CLIP préserve non seulement la capacité de reconnaissance visuelle de CLIP, mais permet également un contrôle précis de l'accentuation des contenus d'image. Il démontre son efficacité dans diverses tâches, y compris mais sans s'y limiter, la reconnaissance en monde ouvert, les modèles de langage multimodal de grande taille, et la génération conditionnelle 2D/3D. Il possède un fort potentiel pour servir d'outil polyvalent pour les tâches liées aux images.
English
Contrastive Language-Image Pre-training (CLIP) plays an essential role in
extracting valuable content information from images across diverse tasks. It
aligns textual and visual modalities to comprehend the entire image, including
all the details, even those irrelevant to specific tasks. However, for a finer
understanding and controlled editing of images, it becomes crucial to focus on
specific regions of interest, which can be indicated as points, masks, or boxes
by humans or perception models. To fulfill the requirements, we introduce
Alpha-CLIP, an enhanced version of CLIP with an auxiliary alpha channel to
suggest attentive regions and fine-tuned with constructed millions of RGBA
region-text pairs. Alpha-CLIP not only preserves the visual recognition ability
of CLIP but also enables precise control over the emphasis of image contents.
It demonstrates effectiveness in various tasks, including but not limited to
open-world recognition, multimodal large language models, and conditional 2D /
3D generation. It has a strong potential to serve as a versatile tool for
image-related tasks.