Audit & Repair: Un Framework Agente per la Visualizzazione Narrativa Coerente nei Modelli di Diffusione da Testo a Immagine

Audit & Repair: An Agentic Framework for Consistent Story Visualization in Text-to-Image Diffusion Models

June 23, 2025

Autori: Kiymet Akdemir, Tahira Kazimi, Pinar Yanardag

cs.AI

Abstract

La visualizzazione di storie è diventata un compito popolare in cui vengono generate scene visive per rappresentare una narrazione attraverso più pannelli. Una sfida centrale in questo contesto è mantenere la coerenza visiva, in particolare nel modo in cui i personaggi e gli oggetti persistono e si evolvono nel corso della storia. Nonostante i recenti progressi nei modelli di diffusione, gli approcci attuali spesso non riescono a preservare gli attributi chiave dei personaggi, portando a narrazioni incoerenti. In questo lavoro, proponiamo un framework multi-agente collaborativo che identifica, corregge e affina autonomamente le incoerenze nelle visualizzazioni di storie multi-pannello. Gli agenti operano in un ciclo iterativo, consentendo aggiornamenti granulari a livello di pannello senza dover rigenerare intere sequenze. Il nostro framework è indipendente dal modello e si integra in modo flessibile con una varietà di modelli di diffusione, inclusi trasformatori a flusso rettificato come Flux e modelli di diffusione latente come Stable Diffusion. Esperimenti quantitativi e qualitativi dimostrano che il nostro metodo supera gli approcci precedenti in termini di coerenza multi-pannello.

English

Story visualization has become a popular task where visual scenes are generated to depict a narrative across multiple panels. A central challenge in this setting is maintaining visual consistency, particularly in how characters and objects persist and evolve throughout the story. Despite recent advances in diffusion models, current approaches often fail to preserve key character attributes, leading to incoherent narratives. In this work, we propose a collaborative multi-agent framework that autonomously identifies, corrects, and refines inconsistencies across multi-panel story visualizations. The agents operate in an iterative loop, enabling fine-grained, panel-level updates without re-generating entire sequences. Our framework is model-agnostic and flexibly integrates with a variety of diffusion models, including rectified flow transformers such as Flux and latent diffusion models such as Stable Diffusion. Quantitative and qualitative experiments show that our method outperforms prior approaches in terms of multi-panel consistency.