CosmicMan: Ein Text-zu-Bild-Grundlagenmodell für Menschen

CosmicMan: A Text-to-Image Foundation Model for Humans

April 1, 2024

Autoren: Shikai Li, Jianglin Fu, Kaiyuan Liu, Wentao Wang, Kwan-Yee Lin, Wayne Wu

cs.AI

Zusammenfassung

Wir präsentieren CosmicMan, ein Text-zu-Bild-Grundlagenmodell, das auf die Erzeugung hochwertiger menschlicher Bilder spezialisiert ist. Im Gegensatz zu aktuellen allgemeinen Grundlagenmodellen, die im Dilemma zwischen minderer Qualität und Text-Bild-Verschiebung für Menschen stecken, ermöglicht CosmicMan die Erzeugung fotorealistischer menschlicher Bilder mit akribischem Erscheinungsbild, angemessener Struktur und präziser Text-Bild-Ausrichtung mit detaillierten dichten Beschreibungen. Im Herzen des Erfolgs von CosmicMan stehen neue Betrachtungen und Perspektiven zu Daten und Modellen: (1) Wir haben festgestellt, dass Datenqualität und ein skalierbarer Datenproduktionsfluss für die endgültigen Ergebnisse aus trainierten Modellen entscheidend sind. Daher schlagen wir ein neues Datenproduktionsparadigma vor, Annotate Anyone, das als fortlaufendes Datenrad dient, um im Laufe der Zeit hochwertige Daten mit präzisen und dennoch kostengünstigen Annotationen zu produzieren. Basierend darauf haben wir einen groß angelegten Datensatz, CosmicMan-HQ 1.0, mit 6 Millionen hochwertigen realen menschlichen Bildern in einer durchschnittlichen Auflösung von 1488x1255 erstellt und mit präzisen Textannotationen versehen, die aus 115 Millionen Attributen in verschiedenen Granularitäten abgeleitet sind. (2) Wir argumentieren, dass ein auf Menschen spezialisiertes Text-zu-Bild-Grundlagenmodell pragmatisch sein muss - einfach in Downstream-Aufgaben zu integrieren und gleichzeitig effektiv bei der Erzeugung hochwertiger menschlicher Bilder. Daher schlagen wir vor, die Beziehung zwischen dichten Textbeschreibungen und Bildpixeln auf eine dekomponierte Weise zu modellieren und das Schulungsrahmenwerk Decomposed-Attention-Refocusing (Daring) vorzustellen. Es zerlegt nahtlos die Kreuz-Aufmerksamkeitsmerkmale im bestehenden Text-zu-Bild-Diffusionsmodell und erzwingt eine Aufmerksamkeitsneuausrichtung, ohne zusätzliche Module hinzuzufügen. Durch Daring zeigen wir, dass die explizite Diskretisierung des kontinuierlichen Textraums in mehrere grundlegende Gruppen, die mit der menschlichen Körperstruktur übereinstimmen, der Schlüssel zur Bewältigung des Verschiebungsproblems ist.

English

We present CosmicMan, a text-to-image foundation model specialized for generating high-fidelity human images. Unlike current general-purpose foundation models that are stuck in the dilemma of inferior quality and text-image misalignment for humans, CosmicMan enables generating photo-realistic human images with meticulous appearance, reasonable structure, and precise text-image alignment with detailed dense descriptions. At the heart of CosmicMan's success are the new reflections and perspectives on data and models: (1) We found that data quality and a scalable data production flow are essential for the final results from trained models. Hence, we propose a new data production paradigm, Annotate Anyone, which serves as a perpetual data flywheel to produce high-quality data with accurate yet cost-effective annotations over time. Based on this, we constructed a large-scale dataset, CosmicMan-HQ 1.0, with 6 Million high-quality real-world human images in a mean resolution of 1488x1255, and attached with precise text annotations deriving from 115 Million attributes in diverse granularities. (2) We argue that a text-to-image foundation model specialized for humans must be pragmatic -- easy to integrate into down-streaming tasks while effective in producing high-quality human images. Hence, we propose to model the relationship between dense text descriptions and image pixels in a decomposed manner, and present Decomposed-Attention-Refocusing (Daring) training framework. It seamlessly decomposes the cross-attention features in existing text-to-image diffusion model, and enforces attention refocusing without adding extra modules. Through Daring, we show that explicitly discretizing continuous text space into several basic groups that align with human body structure is the key to tackling the misalignment problem in a breeze.