Космический Человек: Модель основы текст-изображение для людей

CosmicMan: A Text-to-Image Foundation Model for Humans

April 1, 2024

Авторы: Shikai Li, Jianglin Fu, Kaiyuan Liu, Wentao Wang, Kwan-Yee Lin, Wayne Wu

cs.AI

Аннотация

Мы представляем CosmicMan, модель основы текст-в-изображение, специализированную на создании высококачественных изображений людей. В отличие от текущих универсальных моделей основы, которые застряли в дилемме низкого качества и несоответствия текста и изображения для людей, CosmicMan позволяет создавать фотореалистичные изображения людей с тщательным внешним видом, разумной структурой и точным соответствием текста и изображения с детализированными плотными описаниями. В основе успеха CosmicMan лежат новые рефлексии и перспективы на данных и моделях: (1) Мы обнаружили, что качество данных и масштабируемый поток производства данных необходимы для окончательных результатов от обученных моделей. Поэтому мы предлагаем новую парадигму производства данных, Annotate Anyone, которая служит вечным двигателем данных для производства высококачественных данных с точными, но экономичными аннотациями со временем. На основе этого мы создали крупномасштабный набор данных, CosmicMan-HQ 1.0, с 6 миллионами высококачественных реальных изображений людей в среднем разрешении 1488x1255, с точными текстовыми аннотациями, происходящими из 115 миллионов атрибутов в различных гранулярностях. (2) Мы утверждаем, что модель основы текст-в-изображение, специализированная на людях, должна быть прагматичной - легкой в интеграции в задачи последующего этапа, эффективной в создании высококачественных изображений людей. Поэтому мы предлагаем моделировать отношение между плотными текстовыми описаниями и пикселями изображения декомпозированным образом и представляем обучающую структуру Decomposed-Attention-Refocusing (Daring). Она плавно декомпозирует признаки взаимного внимания в существующей модели диффузии текста-в-изображение и обеспечивает переориентацию внимания без добавления дополнительных модулей. Через Daring мы показываем, что явное дискретизирование непрерывного текстового пространства на несколько основных групп, соответствующих структуре человеческого тела, является ключом к решению проблемы несоответствия с легкостью.

English

We present CosmicMan, a text-to-image foundation model specialized for generating high-fidelity human images. Unlike current general-purpose foundation models that are stuck in the dilemma of inferior quality and text-image misalignment for humans, CosmicMan enables generating photo-realistic human images with meticulous appearance, reasonable structure, and precise text-image alignment with detailed dense descriptions. At the heart of CosmicMan's success are the new reflections and perspectives on data and models: (1) We found that data quality and a scalable data production flow are essential for the final results from trained models. Hence, we propose a new data production paradigm, Annotate Anyone, which serves as a perpetual data flywheel to produce high-quality data with accurate yet cost-effective annotations over time. Based on this, we constructed a large-scale dataset, CosmicMan-HQ 1.0, with 6 Million high-quality real-world human images in a mean resolution of 1488x1255, and attached with precise text annotations deriving from 115 Million attributes in diverse granularities. (2) We argue that a text-to-image foundation model specialized for humans must be pragmatic -- easy to integrate into down-streaming tasks while effective in producing high-quality human images. Hence, we propose to model the relationship between dense text descriptions and image pixels in a decomposed manner, and present Decomposed-Attention-Refocusing (Daring) training framework. It seamlessly decomposes the cross-attention features in existing text-to-image diffusion model, and enforces attention refocusing without adding extra modules. Through Daring, we show that explicitly discretizing continuous text space into several basic groups that align with human body structure is the key to tackling the misalignment problem in a breeze.