Illustrious: un Modello Avanzato di Illustrazione Aperto
Illustrious: an Open Advanced Illustration Model
September 30, 2024
Autori: Sang Hyun Park, Jun Young Koh, Junha Lee, Joy Song, Dongha Kim, Hoyeon Moon, Hyunju Lee, Min Song
cs.AI
Abstract
In questo lavoro, condividiamo le intuizioni per raggiungere una qualità all'avanguardia nel nostro modello generativo di immagini anime da testo a immagine, chiamato Illustrious. Per ottenere immagini ad alta risoluzione, con un'ampia gamma dinamica di colori e un'elevata capacità di ripristino, ci concentriamo su tre approcci critici per il miglioramento del modello. In primo luogo, approfondiamo il significato della dimensione del batch e del controllo della disattivazione, che consente un apprendimento più rapido delle attivazioni concettuali basate su token controllabili. In secondo luogo, aumentiamo la risoluzione di addestramento delle immagini, influenzando la rappresentazione accurata dell'anatomia dei personaggi a risoluzioni molto più elevate, estendendo la capacità di generazione oltre i 20MP con metodi appropriati. Infine, proponiamo le didascalie multi-livello raffinate, che coprono tutti i tag e varie didascalie in linguaggio naturale come fattore critico per lo sviluppo del modello. Attraverso un'ampia analisi e sperimentazioni, Illustrious dimostra prestazioni all'avanguardia in termini di stile animato, superando modelli ampiamente utilizzati nei settori dell'illustrazione, facilitando una personalizzazione e una personalizzazione più semplici con la natura open source. Abbiamo in programma di rilasciare pubblicamente la serie di modelli Illustrious aggiornati in modo sequenziale, nonché piani sostenibili per miglioramenti.
English
In this work, we share the insights for achieving state-of-the-art quality in
our text-to-image anime image generative model, called Illustrious. To achieve
high resolution, dynamic color range images, and high restoration ability, we
focus on three critical approaches for model improvement. First, we delve into
the significance of the batch size and dropout control, which enables faster
learning of controllable token based concept activations. Second, we increase
the training resolution of images, affecting the accurate depiction of
character anatomy in much higher resolution, extending its generation
capability over 20MP with proper methods. Finally, we propose the refined
multi-level captions, covering all tags and various natural language captions
as a critical factor for model development. Through extensive analysis and
experiments, Illustrious demonstrates state-of-the-art performance in terms of
animation style, outperforming widely-used models in illustration domains,
propelling easier customization and personalization with nature of open source.
We plan to publicly release updated Illustrious model series sequentially as
well as sustainable plans for improvements.