Audit & Réparation : Un Cadre Agentique pour une Visualisation Cohérente d'Histoires dans les Modèles de Diffusion Texte-Image

Audit & Repair: An Agentic Framework for Consistent Story Visualization in Text-to-Image Diffusion Models

June 23, 2025

Auteurs: Kiymet Akdemir, Tahira Kazimi, Pinar Yanardag

cs.AI

Résumé

La visualisation d'histoires est devenue une tâche populaire où des scènes visuelles sont générées pour représenter une narration à travers plusieurs panneaux. Un défi central dans ce contexte est de maintenir une cohérence visuelle, en particulier dans la manière dont les personnages et les objets persistent et évoluent tout au long de l'histoire. Malgré les récents progrès des modèles de diffusion, les approches actuelles échouent souvent à préserver les attributs clés des personnages, conduisant à des narrations incohérentes. Dans ce travail, nous proposons un cadre multi-agent collaboratif qui identifie, corrige et affine de manière autonome les incohérences dans les visualisations d'histoires multi-panneaux. Les agents opèrent dans une boucle itérative, permettant des mises à jour fines au niveau des panneaux sans avoir à régénérer des séquences entières. Notre cadre est agnostique aux modèles et s'intègre de manière flexible à une variété de modèles de diffusion, y compris les transformateurs de flux rectifiés tels que Flux et les modèles de diffusion latente tels que Stable Diffusion. Les expériences quantitatives et qualitatives montrent que notre méthode surpasse les approches antérieures en termes de cohérence multi-panneaux.

English

Story visualization has become a popular task where visual scenes are generated to depict a narrative across multiple panels. A central challenge in this setting is maintaining visual consistency, particularly in how characters and objects persist and evolve throughout the story. Despite recent advances in diffusion models, current approaches often fail to preserve key character attributes, leading to incoherent narratives. In this work, we propose a collaborative multi-agent framework that autonomously identifies, corrects, and refines inconsistencies across multi-panel story visualizations. The agents operate in an iterative loop, enabling fine-grained, panel-level updates without re-generating entire sequences. Our framework is model-agnostic and flexibly integrates with a variety of diffusion models, including rectified flow transformers such as Flux and latent diffusion models such as Stable Diffusion. Quantitative and qualitative experiments show that our method outperforms prior approaches in terms of multi-panel consistency.