AutoStory: Генерация разнообразных иллюстраций для рассказов с минимальными усилиями со стороны человека

AutoStory: Generating Diverse Storytelling Images with Minimal Human Effort

November 19, 2023

Авторы: Wen Wang, Canyu Zhao, Hao Chen, Zhekai Chen, Kecheng Zheng, Chunhua Shen

cs.AI

Аннотация

Визуализация историй направлена на создание серии изображений, соответствующих текстовому описанию сюжета, при этом сгенерированные изображения должны обладать высоким качеством, соответствовать текстовому описанию и сохранять согласованность в идентичности персонажей. Учитывая сложность задачи визуализации историй, существующие методы значительно упрощают проблему, ограничиваясь рассмотрением лишь нескольких конкретных персонажей и сценариев или требуя от пользователей предоставления управляющих условий для каждого изображения, таких как наброски. Однако такие упрощения делают эти методы непригодными для реальных приложений. В связи с этим мы предлагаем автоматизированную систему визуализации историй, способную эффективно генерировать разнообразные, высококачественные и согласованные наборы изображений с минимальным участием человека. В частности, мы используем способности крупных языковых моделей к пониманию и планированию для разработки компоновки, а затем применяем масштабные модели преобразования текста в изображение для создания сложных изображений на основе этой компоновки. Эмпирически мы установили, что разреженные управляющие условия, такие как ограничивающие рамки, подходят для планирования компоновки, тогда как плотные управляющие условия, например, наброски и ключевые точки, подходят для создания высококачественного содержания изображений. Чтобы объединить преимущества обоих подходов, мы разработали модуль генерации плотных условий, который преобразует простые компоновки с ограничивающими рамками в управляющие условия в виде набросков или ключевых точек для финальной генерации изображений. Это не только повышает качество изображений, но и позволяет осуществлять легкое и интуитивно понятное взаимодействие с пользователем. Кроме того, мы предлагаем простой, но эффективный метод для создания согласованных изображений персонажей в нескольких ракурсах, устраняя необходимость в ручном сборе или рисовании изображений персонажей.

English

Story visualization aims to generate a series of images that match the story described in texts, and it requires the generated images to satisfy high quality, alignment with the text description, and consistency in character identities. Given the complexity of story visualization, existing methods drastically simplify the problem by considering only a few specific characters and scenarios, or requiring the users to provide per-image control conditions such as sketches. However, these simplifications render these methods incompetent for real applications. To this end, we propose an automated story visualization system that can effectively generate diverse, high-quality, and consistent sets of story images, with minimal human interactions. Specifically, we utilize the comprehension and planning capabilities of large language models for layout planning, and then leverage large-scale text-to-image models to generate sophisticated story images based on the layout. We empirically find that sparse control conditions, such as bounding boxes, are suitable for layout planning, while dense control conditions, e.g., sketches and keypoints, are suitable for generating high-quality image content. To obtain the best of both worlds, we devise a dense condition generation module to transform simple bounding box layouts into sketch or keypoint control conditions for final image generation, which not only improves the image quality but also allows easy and intuitive user interactions. In addition, we propose a simple yet effective method to generate multi-view consistent character images, eliminating the reliance on human labor to collect or draw character images.