AutoStory: Generación de imágenes diversas para narrativas con un esfuerzo humano mínimo

AutoStory: Generating Diverse Storytelling Images with Minimal Human Effort

November 19, 2023

Autores: Wen Wang, Canyu Zhao, Hao Chen, Zhekai Chen, Kecheng Zheng, Chunhua Shen

cs.AI

Resumen

La visualización de historias tiene como objetivo generar una serie de imágenes que coincidan con la historia descrita en textos, y requiere que las imágenes generadas cumplan con altos estándares de calidad, alineación con la descripción textual y consistencia en las identidades de los personajes. Dada la complejidad de la visualización de historias, los métodos existentes simplifican drásticamente el problema al considerar solo unos pocos personajes y escenarios específicos, o al requerir que los usuarios proporcionen condiciones de control por imagen, como bocetos. Sin embargo, estas simplificaciones hacen que estos métodos sean inadecuados para aplicaciones reales. Con este fin, proponemos un sistema automatizado de visualización de historias que puede generar de manera efectiva conjuntos de imágenes de historias diversas, de alta calidad y consistentes, con interacciones humanas mínimas. Específicamente, utilizamos las capacidades de comprensión y planificación de los modelos de lenguaje de gran escala para la planificación del diseño, y luego aprovechamos los modelos de texto a imagen a gran escala para generar imágenes sofisticadas de la historia basadas en el diseño. Empíricamente, encontramos que las condiciones de control dispersas, como los cuadros delimitadores, son adecuadas para la planificación del diseño, mientras que las condiciones de control densas, como bocetos y puntos clave, son adecuadas para generar contenido de imagen de alta calidad. Para obtener lo mejor de ambos mundos, diseñamos un módulo de generación de condiciones densas para transformar diseños simples de cuadros delimitadores en condiciones de control de bocetos o puntos clave para la generación final de imágenes, lo que no solo mejora la calidad de la imagen, sino que también permite interacciones fáciles e intuitivas con el usuario. Además, proponemos un método simple pero efectivo para generar imágenes de personajes consistentes en múltiples vistas, eliminando la dependencia del trabajo humano para recopilar o dibujar imágenes de personajes.

English

Story visualization aims to generate a series of images that match the story described in texts, and it requires the generated images to satisfy high quality, alignment with the text description, and consistency in character identities. Given the complexity of story visualization, existing methods drastically simplify the problem by considering only a few specific characters and scenarios, or requiring the users to provide per-image control conditions such as sketches. However, these simplifications render these methods incompetent for real applications. To this end, we propose an automated story visualization system that can effectively generate diverse, high-quality, and consistent sets of story images, with minimal human interactions. Specifically, we utilize the comprehension and planning capabilities of large language models for layout planning, and then leverage large-scale text-to-image models to generate sophisticated story images based on the layout. We empirically find that sparse control conditions, such as bounding boxes, are suitable for layout planning, while dense control conditions, e.g., sketches and keypoints, are suitable for generating high-quality image content. To obtain the best of both worlds, we devise a dense condition generation module to transform simple bounding box layouts into sketch or keypoint control conditions for final image generation, which not only improves the image quality but also allows easy and intuitive user interactions. In addition, we propose a simple yet effective method to generate multi-view consistent character images, eliminating the reliance on human labor to collect or draw character images.