Выдающаяся: открытая передовая модель иллюстраций

Illustrious: an Open Advanced Illustration Model

September 30, 2024

Авторы: Sang Hyun Park, Jun Young Koh, Junha Lee, Joy Song, Dongha Kim, Hoyeon Moon, Hyunju Lee, Min Song

cs.AI

Аннотация

В данной работе мы делимся идеями по достижению передового качества в нашей модели генерации изображений аниме по тексту, названной Illustrious. Для достижения высокого разрешения, динамичного цветового диапазона изображений и высокой способности к восстановлению мы сосредотачиваемся на трех критических подходах к улучшению модели. Во-первых, мы рассматриваем важность размера пакета и контроля dropout, что обеспечивает более быстрое обучение активаций концептов на основе управляемых токенов. Во-вторых, мы увеличиваем разрешение обучения изображений, влияющее на точное изображение анатомии персонажей в гораздо более высоком разрешении, расширяя его способность генерации более 20 млн пикселей с помощью соответствующих методов. Наконец, мы предлагаем усовершенствованные многоуровневые подписи, охватывающие все теги и различные естественноязыковые подписи как критически важный фактор для развития модели. Через обширный анализ и эксперименты Illustrious демонстрирует передовую производительность в анимационном стиле, превосходя широко используемые модели в области иллюстраций, обеспечивая более простую настройку и персонализацию благодаря открытому исходному коду. Мы планируем публично выпустить обновленную серию моделей Illustrious последовательно, а также устойчивые планы для улучшений.

English

In this work, we share the insights for achieving state-of-the-art quality in our text-to-image anime image generative model, called Illustrious. To achieve high resolution, dynamic color range images, and high restoration ability, we focus on three critical approaches for model improvement. First, we delve into the significance of the batch size and dropout control, which enables faster learning of controllable token based concept activations. Second, we increase the training resolution of images, affecting the accurate depiction of character anatomy in much higher resolution, extending its generation capability over 20MP with proper methods. Finally, we propose the refined multi-level captions, covering all tags and various natural language captions as a critical factor for model development. Through extensive analysis and experiments, Illustrious demonstrates state-of-the-art performance in terms of animation style, outperforming widely-used models in illustration domains, propelling easier customization and personalization with nature of open source. We plan to publicly release updated Illustrious model series sequentially as well as sustainable plans for improvements.