CosmicMan: Un Modello Fondamentale Text-to-Image per gli Esseri Umani

CosmicMan: A Text-to-Image Foundation Model for Humans

April 1, 2024

Autori: Shikai Li, Jianglin Fu, Kaiyuan Liu, Wentao Wang, Kwan-Yee Lin, Wayne Wu

cs.AI

Abstract

Presentiamo CosmicMan, un modello di base text-to-image specializzato nella generazione di immagini umane ad alta fedeltà. A differenza degli attuali modelli di base generici, che si trovano nel dilemma di una qualità inferiore e di un disallineamento testo-immagine per le figure umane, CosmicMan consente di generare immagini umane fotorealistiche con un aspetto meticoloso, una struttura ragionevole e un preciso allineamento testo-immagine con descrizioni dense e dettagliate. Al centro del successo di CosmicMan ci sono nuove riflessioni e prospettive sui dati e sui modelli: (1) Abbiamo scoperto che la qualità dei dati e un flusso di produzione dati scalabile sono essenziali per i risultati finali dei modelli addestrati. Pertanto, proponiamo un nuovo paradigma di produzione dati, Annotate Anyone, che funge da volano perpetuo per produrre dati di alta qualità con annotazioni accurate ed economicamente efficienti nel tempo. Sulla base di ciò, abbiamo costruito un dataset su larga scala, CosmicMan-HQ 1.0, con 6 milioni di immagini umane di alta qualità del mondo reale in una risoluzione media di 1488x1255, corredate da precise annotazioni testuali derivanti da 115 milioni di attributi in diverse granularità. (2) Sosteniamo che un modello di base text-to-image specializzato per gli esseri umani deve essere pragmatico – facile da integrare in compiti downstream mentre efficace nella produzione di immagini umane di alta qualità. Pertanto, proponiamo di modellare la relazione tra descrizioni testuali dense e pixel dell'immagine in modo scomposto, e presentiamo il framework di addestramento Decomposed-Attention-Refocusing (Daring). Esso scompone in modo fluido le caratteristiche di cross-attention nei modelli di diffusione text-to-image esistenti, e impone un refocusing dell'attenzione senza aggiungere moduli extra. Attraverso Daring, dimostriamo che discretizzare esplicitamente lo spazio testuale continuo in diversi gruppi di base che si allineano con la struttura del corpo umano è la chiave per affrontare con facilità il problema del disallineamento.

English

We present CosmicMan, a text-to-image foundation model specialized for generating high-fidelity human images. Unlike current general-purpose foundation models that are stuck in the dilemma of inferior quality and text-image misalignment for humans, CosmicMan enables generating photo-realistic human images with meticulous appearance, reasonable structure, and precise text-image alignment with detailed dense descriptions. At the heart of CosmicMan's success are the new reflections and perspectives on data and models: (1) We found that data quality and a scalable data production flow are essential for the final results from trained models. Hence, we propose a new data production paradigm, Annotate Anyone, which serves as a perpetual data flywheel to produce high-quality data with accurate yet cost-effective annotations over time. Based on this, we constructed a large-scale dataset, CosmicMan-HQ 1.0, with 6 Million high-quality real-world human images in a mean resolution of 1488x1255, and attached with precise text annotations deriving from 115 Million attributes in diverse granularities. (2) We argue that a text-to-image foundation model specialized for humans must be pragmatic -- easy to integrate into down-streaming tasks while effective in producing high-quality human images. Hence, we propose to model the relationship between dense text descriptions and image pixels in a decomposed manner, and present Decomposed-Attention-Refocusing (Daring) training framework. It seamlessly decomposes the cross-attention features in existing text-to-image diffusion model, and enforces attention refocusing without adding extra modules. Through Daring, we show that explicitly discretizing continuous text space into several basic groups that align with human body structure is the key to tackling the misalignment problem in a breeze.