AutoStory: Gerando Imagens Diversificadas para Narrativas com Mínimo Esforço Humano

AutoStory: Generating Diverse Storytelling Images with Minimal Human Effort

November 19, 2023

Autores: Wen Wang, Canyu Zhao, Hao Chen, Zhekai Chen, Kecheng Zheng, Chunhua Shen

cs.AI

Resumo

A visualização de histórias tem como objetivo gerar uma série de imagens que correspondam à história descrita em textos, exigindo que as imagens geradas atendam a critérios de alta qualidade, alinhamento com a descrição textual e consistência nas identidades dos personagens. Dada a complexidade da visualização de histórias, os métodos existentes simplificam drasticamente o problema ao considerar apenas alguns personagens e cenários específicos, ou exigindo que os usuários forneçam condições de controle por imagem, como esboços. No entanto, essas simplificações tornam esses métodos inadequados para aplicações reais. Para isso, propomos um sistema automatizado de visualização de histórias que pode gerar de forma eficaz conjuntos de imagens diversificados, de alta qualidade e consistentes, com interações humanas mínimas. Especificamente, utilizamos as capacidades de compreensão e planejamento de modelos de linguagem de grande escala para o planejamento de layout e, em seguida, aproveitamos modelos de texto para imagem em grande escala para gerar imagens sofisticadas da história com base no layout. Empiricamente, descobrimos que condições de controle esparsas, como caixas delimitadoras, são adequadas para o planejamento de layout, enquanto condições de controle densas, como esboços e pontos-chave, são adequadas para gerar conteúdo de imagem de alta qualidade. Para obter o melhor dos dois mundos, desenvolvemos um módulo de geração de condições densas para transformar layouts simples de caixas delimitadoras em condições de controle de esboço ou pontos-chave para a geração final de imagens, o que não apenas melhora a qualidade da imagem, mas também permite interações fáceis e intuitivas do usuário. Além disso, propomos um método simples, porém eficaz, para gerar imagens de personagens consistentes em múltiplas visões, eliminando a dependência de trabalho humano para coletar ou desenhar imagens de personagens.

English

Story visualization aims to generate a series of images that match the story described in texts, and it requires the generated images to satisfy high quality, alignment with the text description, and consistency in character identities. Given the complexity of story visualization, existing methods drastically simplify the problem by considering only a few specific characters and scenarios, or requiring the users to provide per-image control conditions such as sketches. However, these simplifications render these methods incompetent for real applications. To this end, we propose an automated story visualization system that can effectively generate diverse, high-quality, and consistent sets of story images, with minimal human interactions. Specifically, we utilize the comprehension and planning capabilities of large language models for layout planning, and then leverage large-scale text-to-image models to generate sophisticated story images based on the layout. We empirically find that sparse control conditions, such as bounding boxes, are suitable for layout planning, while dense control conditions, e.g., sketches and keypoints, are suitable for generating high-quality image content. To obtain the best of both worlds, we devise a dense condition generation module to transform simple bounding box layouts into sketch or keypoint control conditions for final image generation, which not only improves the image quality but also allows easy and intuitive user interactions. In addition, we propose a simple yet effective method to generate multi-view consistent character images, eliminating the reliance on human labor to collect or draw character images.