Le Critique de Cohérence : Correction des Inconsistances dans les Images Générées par Alignement Attentif Guidé par Référence
The Consistency Critic: Correcting Inconsistencies in Generated Images via Reference-Guided Attentive Alignment
November 25, 2025
papers.authors: Ziheng Ouyang, Yiren Song, Yaoli Liu, Shihao Zhu, Qibin Hou, Ming-Ming Cheng, Mike Zheng Shou
cs.AI
papers.abstract
Les travaux antérieurs ont exploré diverses tâches de génération personnalisée à partir d'une image de référence, mais ils peinent encore à produire des détails fins et cohérents. Dans cet article, notre objectif est de résoudre le problème d'incohérence des images générées en appliquant une approche de post-édition guidée par référence, et nous présentons notre méthode ImageCritic. Nous construisons d'abord un jeu de données de triplets référence-dégradé-cible obtenus via une sélection basée sur un modèle de langage visuel (VLM) et une dégradation explicite, qui simule efficacement les inexactitudes ou incohérences courantes observées dans les modèles de génération existants. De plus, en nous appuyant sur un examen approfondi des mécanismes d'attention et des représentations intrinsèques du modèle, nous concevons une fonction de perte d'alignement attentionnel et un encodeur de détails pour rectifier précisément les incohérences. ImageCritic peut être intégré dans un cadre d'agent pour détecter automatiquement les incohérences et les corriger via des éditions multi-tours et locales dans des scénarios complexes. Des expériences approfondies démontrent qu'ImageCritic peut résoudre efficacement les problèmes liés aux détails dans divers scénarios de génération personnalisée, apportant des améliorations significatives par rapport aux méthodes existantes.
English
Previous works have explored various customized generation tasks given a reference image, but they still face limitations in generating consistent fine-grained details. In this paper, our aim is to solve the inconsistency problem of generated images by applying a reference-guided post-editing approach and present our ImageCritic. We first construct a dataset of reference-degraded-target triplets obtained via VLM-based selection and explicit degradation, which effectively simulates the common inaccuracies or inconsistencies observed in existing generation models. Furthermore, building on a thorough examination of the model's attention mechanisms and intrinsic representations, we accordingly devise an attention alignment loss and a detail encoder to precisely rectify inconsistencies. ImageCritic can be integrated into an agent framework to automatically detect inconsistencies and correct them with multi-round and local editing in complex scenarios. Extensive experiments demonstrate that ImageCritic can effectively resolve detail-related issues in various customized generation scenarios, providing significant improvements over existing methods.