Ilustre: un Modelo Avanzado de Ilustración Abierto

Illustrious: an Open Advanced Illustration Model

September 30, 2024

Autores: Sang Hyun Park, Jun Young Koh, Junha Lee, Joy Song, Dongha Kim, Hoyeon Moon, Hyunju Lee, Min Song

cs.AI

Resumen

En este trabajo, compartimos las ideas para lograr una calidad de vanguardia en nuestro modelo generativo de imágenes de anime de texto a imagen, llamado Illustrious. Para lograr imágenes de alta resolución, rango de colores dinámico y alta capacidad de restauración, nos enfocamos en tres enfoques críticos para la mejora del modelo. En primer lugar, profundizamos en la importancia del tamaño del lote y el control de la deserción, lo que permite un aprendizaje más rápido de las activaciones de conceptos basados en tokens controlables. En segundo lugar, aumentamos la resolución de entrenamiento de las imágenes, lo que afecta la representación precisa de la anatomía de los personajes en una resolución mucho mayor, extendiendo su capacidad de generación a más de 20MP con métodos adecuados. Finalmente, proponemos las descripciones refinadas de varios niveles, que cubren todas las etiquetas y varias descripciones en lenguaje natural como un factor crítico para el desarrollo del modelo. A través de un análisis extenso y experimentos, Illustrious demuestra un rendimiento de vanguardia en cuanto al estilo de animación, superando a modelos ampliamente utilizados en dominios de ilustración, impulsando una personalización y personalización más fáciles con la naturaleza de código abierto. Planeamos lanzar públicamente la serie de modelos actualizados de Illustrious de manera secuencial, así como planes sostenibles para mejoras.

English

In this work, we share the insights for achieving state-of-the-art quality in our text-to-image anime image generative model, called Illustrious. To achieve high resolution, dynamic color range images, and high restoration ability, we focus on three critical approaches for model improvement. First, we delve into the significance of the batch size and dropout control, which enables faster learning of controllable token based concept activations. Second, we increase the training resolution of images, affecting the accurate depiction of character anatomy in much higher resolution, extending its generation capability over 20MP with proper methods. Finally, we propose the refined multi-level captions, covering all tags and various natural language captions as a critical factor for model development. Through extensive analysis and experiments, Illustrious demonstrates state-of-the-art performance in terms of animation style, outperforming widely-used models in illustration domains, propelling easier customization and personalization with nature of open source. We plan to publicly release updated Illustrious model series sequentially as well as sustainable plans for improvements.