Illustrious : un Modèle d'Illustration Avancé Ouvert

Illustrious: an Open Advanced Illustration Model

September 30, 2024

Auteurs: Sang Hyun Park, Jun Young Koh, Junha Lee, Joy Song, Dongha Kim, Hoyeon Moon, Hyunju Lee, Min Song

cs.AI

Résumé

Dans ce travail, nous partageons les idées pour atteindre une qualité de pointe dans notre modèle génératif d'images anime texte-image, appelé Illustrious. Pour obtenir des images de haute résolution, une gamme de couleurs dynamique et une grande capacité de restauration, nous nous concentrons sur trois approches cruciales pour l'amélioration du modèle. Tout d'abord, nous explorons l'importance de la taille du lot et du contrôle de l'abandon, ce qui permet un apprentissage plus rapide des activations de concepts basés sur des jetons contrôlables. Ensuite, nous augmentons la résolution d'entraînement des images, ce qui affecte la représentation précise de l'anatomie des personnages dans une résolution beaucoup plus élevée, étendant sa capacité de génération à plus de 20 MP avec des méthodes appropriées. Enfin, nous proposons des légendes multi-niveaux affinées, couvrant toutes les balises et diverses légendes en langage naturel comme un facteur critique pour le développement du modèle. À travers une analyse approfondie et des expériences, Illustrious démontre des performances de pointe en termes de style d'animation, surpassant largement les modèles largement utilisés dans les domaines de l'illustration, favorisant une personnalisation et une personnalisation plus faciles grâce à la nature open source. Nous prévoyons de publier publiquement les séries de modèles Illustrious mises à jour de manière séquentielle ainsi que des plans durables pour les améliorations.

English

In this work, we share the insights for achieving state-of-the-art quality in our text-to-image anime image generative model, called Illustrious. To achieve high resolution, dynamic color range images, and high restoration ability, we focus on three critical approaches for model improvement. First, we delve into the significance of the batch size and dropout control, which enables faster learning of controllable token based concept activations. Second, we increase the training resolution of images, affecting the accurate depiction of character anatomy in much higher resolution, extending its generation capability over 20MP with proper methods. Finally, we propose the refined multi-level captions, covering all tags and various natural language captions as a critical factor for model development. Through extensive analysis and experiments, Illustrious demonstrates state-of-the-art performance in terms of animation style, outperforming widely-used models in illustration domains, propelling easier customization and personalization with nature of open source. We plan to publicly release updated Illustrious model series sequentially as well as sustainable plans for improvements.