El Crítico de la Consistencia: Corrección de Inconsistencias en Imágenes Generadas mediante Alineación Atenta Guiada por Referencia
The Consistency Critic: Correcting Inconsistencies in Generated Images via Reference-Guided Attentive Alignment
November 25, 2025
Autores: Ziheng Ouyang, Yiren Song, Yaoli Liu, Shihao Zhu, Qibin Hou, Ming-Ming Cheng, Mike Zheng Shou
cs.AI
Resumen
Trabajos previos han explorado diversas tareas de generación personalizada a partir de una imagen de referencia, pero aún enfrentan limitaciones para generar detalles finos consistentes. En este artículo, nuestro objetivo es resolver el problema de inconsistencia en las imágenes generadas aplicando un enfoque de postedición guiado por referencia y presentamos nuestro ImageCritic. Primero construimos un conjunto de datos de tripletas referencia-degradada-objetivo, obtenidas mediante selección basada en Modelos de Lenguaje Visual (VLM) y degradación explícita, lo que simula eficazmente las inexactitudes o inconsistencias comunes observadas en los modelos de generación existentes. Además, basándonos en un examen exhaustivo de los mecanismos de atención y las representaciones intrínsecas del modelo, diseñamos consecuentemente una pérdida por alineación de atención y un codificador de detalles para rectificar con precisión las inconsistencias. ImageCritic puede integrarse en un marco de agente para detectar automáticamente inconsistencias y corregirlas mediante edición multirround y local en escenarios complejos. Experimentos exhaustivos demuestran que ImageCritic puede resolver efectivamente problemas relacionados con detalles en varios escenarios de generación personalizada, proporcionando mejoras significativas respecto a métodos existentes.
English
Previous works have explored various customized generation tasks given a reference image, but they still face limitations in generating consistent fine-grained details. In this paper, our aim is to solve the inconsistency problem of generated images by applying a reference-guided post-editing approach and present our ImageCritic. We first construct a dataset of reference-degraded-target triplets obtained via VLM-based selection and explicit degradation, which effectively simulates the common inaccuracies or inconsistencies observed in existing generation models. Furthermore, building on a thorough examination of the model's attention mechanisms and intrinsic representations, we accordingly devise an attention alignment loss and a detail encoder to precisely rectify inconsistencies. ImageCritic can be integrated into an agent framework to automatically detect inconsistencies and correct them with multi-round and local editing in complex scenarios. Extensive experiments demonstrate that ImageCritic can effectively resolve detail-related issues in various customized generation scenarios, providing significant improvements over existing methods.