DreamingComics: Пайплайн визуализации повествования с помощью генерации, адаптированной по субъекту и компоновке, с использованием видео-моделей
DreamingComics: A Story Visualization Pipeline via Subject and Layout Customized Generation using Video Models
December 1, 2025
Авторы: Patrick Kwon, Chen Chen
cs.AI
Аннотация
Современные методы визуализации повествования зачастую позиционируют объекты исключительно на основе текста и сталкиваются с трудностями в поддержании художественной согласованности. Для преодоления этих ограничений мы представляем DreamingComics — фреймворк для визуализации историй с учётом компоновки. Мы основываемся на предварительно обученной видео диффузионной трансформерной (DiT) модели, используя её пространственно-временные предикторы для повышения консистентности идентичности и стиля. Для управления позиционированием на основе компоновки мы предлагаем RegionalRoPE — схему позиционного кодирования, учитывающую регионы, которая переиндексирует эмбеддинги в соответствии с целевой компоновкой. Кроме того, мы вводим маскированную функцию потерь для условий, чтобы дополнительно ограничить визуальные характеристики каждого объекта их назначенной областью. Для вывода компоновки из сценариев на естественном языке мы интегрируем генератор компоновки на основе большой языковой модели (LLM), обученный создавать компоновки в стиле комиксов, что обеспечивает гибкое и контролируемое задание условий компоновки. Мы представляем всестороннюю оценку нашего подхода, демонстрирующую увеличение консистентности персонажей на 29,2% и сходства стилей на 36,2% по сравнению с предыдущими методами, при этом показывая высокую пространственную точность. Страница нашего проекта доступна по адресу https://yj7082126.github.io/dreamingcomics/
English
Current story visualization methods tend to position subjects solely by text and face challenges in maintaining artistic consistency. To address these limitations, we introduce DreamingComics, a layout-aware story visualization framework. We build upon a pretrained video diffusion-transformer (DiT) model, leveraging its spatiotemporal priors to enhance identity and style consistency. For layout-based position control, we propose RegionalRoPE, a region-aware positional encoding scheme that re-indexes embeddings based on the target layout. Additionally, we introduce a masked condition loss to further constrain each subject's visual features to their designated region. To infer layouts from natural language scripts, we integrate an LLM-based layout generator trained to produce comic-style layouts, enabling flexible and controllable layout conditioning. We present a comprehensive evaluation of our approach, showing a 29.2% increase in character consistency and a 36.2% increase in style similarity compared to previous methods, while displaying high spatial accuracy. Our project page is available at https://yj7082126.github.io/dreamingcomics/