Auditoria e Reparo: Um Framework Agente para Visualização de Histórias Consistentes em Modelos de Difusão de Texto para Imagem
Audit & Repair: An Agentic Framework for Consistent Story Visualization in Text-to-Image Diffusion Models
June 23, 2025
Autores: Kiymet Akdemir, Tahira Kazimi, Pinar Yanardag
cs.AI
Resumo
A visualização de histórias tornou-se uma tarefa popular na qual cenas visuais são geradas para representar uma narrativa em múltiplos painéis. Um desafio central nesse contexto é manter a consistência visual, especialmente em como os personagens e objetos persistem e evoluem ao longo da história. Apesar dos recentes avanços nos modelos de difusão, as abordagens atuais frequentemente falham em preservar atributos-chave dos personagens, resultando em narrativas incoerentes. Neste trabalho, propomos uma estrutura colaborativa de multiagentes que identifica, corrige e refina automaticamente inconsistências em visualizações de histórias com múltiplos painéis. Os agentes operam em um loop iterativo, permitindo atualizações detalhadas em nível de painel sem a necessidade de regenerar sequências inteiras. Nossa estrutura é independente de modelo e integra-se de forma flexível com uma variedade de modelos de difusão, incluindo transformadores de fluxo retificado, como o Flux, e modelos de difusão latente, como o Stable Diffusion. Experimentos quantitativos e qualitativos mostram que nosso método supera abordagens anteriores em termos de consistência em múltiplos painéis.
English
Story visualization has become a popular task where visual scenes are
generated to depict a narrative across multiple panels. A central challenge in
this setting is maintaining visual consistency, particularly in how characters
and objects persist and evolve throughout the story. Despite recent advances in
diffusion models, current approaches often fail to preserve key character
attributes, leading to incoherent narratives. In this work, we propose a
collaborative multi-agent framework that autonomously identifies, corrects, and
refines inconsistencies across multi-panel story visualizations. The agents
operate in an iterative loop, enabling fine-grained, panel-level updates
without re-generating entire sequences. Our framework is model-agnostic and
flexibly integrates with a variety of diffusion models, including rectified
flow transformers such as Flux and latent diffusion models such as Stable
Diffusion. Quantitative and qualitative experiments show that our method
outperforms prior approaches in terms of multi-panel consistency.