Alpha-CLIP: Ein CLIP-Modell, das sich auf beliebige Bereiche konzentriert
Alpha-CLIP: A CLIP Model Focusing on Wherever You Want
December 6, 2023
Autoren: Zeyi Sun, Ye Fang, Tong Wu, Pan Zhang, Yuhang Zang, Shu Kong, Yuanjun Xiong, Dahua Lin, Jiaqi Wang
cs.AI
Zusammenfassung
Contrastive Language-Image Pre-training (CLIP) spielt eine entscheidende Rolle bei der Extraktion wertvoller Inhaltsinformationen aus Bildern in verschiedenen Aufgaben. Es richtet Text- und Bildmodalitäten aus, um das gesamte Bild inklusive aller Details zu verstehen, selbst solcher, die für spezifische Aufgaben irrelevant sind. Für ein tieferes Verständnis und eine kontrollierte Bearbeitung von Bildern ist es jedoch entscheidend, sich auf spezifische Regionen von Interesse zu konzentrieren, die durch Punkte, Masken oder Rahmen von Menschen oder Wahrnehmungsmodellen angegeben werden können. Um diesen Anforderungen gerecht zu werden, führen wir Alpha-CLIP ein, eine erweiterte Version von CLIP mit einem zusätzlichen Alphakanal, der aufmerksame Regionen vorschlägt und mit Millionen von konstruierten RGBA-Region-Text-Paaren feinabgestimmt wurde. Alpha-CLIP bewahrt nicht nur die visuelle Erkennungsfähigkeit von CLIP, sondern ermöglicht auch eine präzise Kontrolle über die Betonung von Bildinhalten. Es zeigt Wirksamkeit in verschiedenen Aufgaben, einschließlich, aber nicht beschränkt auf Open-World-Erkennung, multimodale große Sprachmodelle und bedingte 2D-/3D-Generierung. Es hat ein starkes Potenzial, als vielseitiges Werkzeug für bildbezogene Aufgaben zu dienen.
English
Contrastive Language-Image Pre-training (CLIP) plays an essential role in
extracting valuable content information from images across diverse tasks. It
aligns textual and visual modalities to comprehend the entire image, including
all the details, even those irrelevant to specific tasks. However, for a finer
understanding and controlled editing of images, it becomes crucial to focus on
specific regions of interest, which can be indicated as points, masks, or boxes
by humans or perception models. To fulfill the requirements, we introduce
Alpha-CLIP, an enhanced version of CLIP with an auxiliary alpha channel to
suggest attentive regions and fine-tuned with constructed millions of RGBA
region-text pairs. Alpha-CLIP not only preserves the visual recognition ability
of CLIP but also enables precise control over the emphasis of image contents.
It demonstrates effectiveness in various tasks, including but not limited to
open-world recognition, multimodal large language models, and conditional 2D /
3D generation. It has a strong potential to serve as a versatile tool for
image-related tasks.