Ilustre: um Modelo Aberto Avançado de Ilustração

Illustrious: an Open Advanced Illustration Model

September 30, 2024

Autores: Sang Hyun Park, Jun Young Koh, Junha Lee, Joy Song, Dongha Kim, Hoyeon Moon, Hyunju Lee, Min Song

cs.AI

Resumo

Neste trabalho, compartilhamos as ideias para alcançar qualidade de ponta em nosso modelo generativo de imagens de anime texto-imagem, chamado Illustrious. Para atingir alta resolução, ampla gama de cores dinâmicas e alta capacidade de restauração, focamos em três abordagens críticas para a melhoria do modelo. Primeiramente, exploramos a importância do tamanho do lote e controle de abandono, o que permite um aprendizado mais rápido de ativações de conceitos baseados em tokens controláveis. Em segundo lugar, aumentamos a resolução de treinamento das imagens, afetando a representação precisa da anatomia dos personagens em resoluções muito mais altas, estendendo sua capacidade de geração para mais de 20MP com métodos apropriados. Por fim, propomos legendas refinadas em vários níveis, abrangendo todas as tags e várias legendas em linguagem natural como um fator crítico para o desenvolvimento do modelo. Através de análises extensivas e experimentos, Illustrious demonstra desempenho de ponta em termos de estilo de animação, superando modelos amplamente utilizados em domínios de ilustração, impulsionando uma personalização e customização mais fáceis devido à natureza de código aberto. Planejamos lançar publicamente séries atualizadas do modelo Illustrious sequencialmente, bem como planos sustentáveis para melhorias.

English

In this work, we share the insights for achieving state-of-the-art quality in our text-to-image anime image generative model, called Illustrious. To achieve high resolution, dynamic color range images, and high restoration ability, we focus on three critical approaches for model improvement. First, we delve into the significance of the batch size and dropout control, which enables faster learning of controllable token based concept activations. Second, we increase the training resolution of images, affecting the accurate depiction of character anatomy in much higher resolution, extending its generation capability over 20MP with proper methods. Finally, we propose the refined multi-level captions, covering all tags and various natural language captions as a critical factor for model development. Through extensive analysis and experiments, Illustrious demonstrates state-of-the-art performance in terms of animation style, outperforming widely-used models in illustration domains, propelling easier customization and personalization with nature of open source. We plan to publicly release updated Illustrious model series sequentially as well as sustainable plans for improvements.