Der Konsistenzkritiker: Korrektur von Inkonsistenzen in generierten Bildern durch referenzgesteuerte aufmerksamkeitsbasierte Ausrichtung
The Consistency Critic: Correcting Inconsistencies in Generated Images via Reference-Guided Attentive Alignment
November 25, 2025
papers.authors: Ziheng Ouyang, Yiren Song, Yaoli Liu, Shihao Zhu, Qibin Hou, Ming-Ming Cheng, Mike Zheng Shou
cs.AI
papers.abstract
Bisherige Arbeiten haben verschiedene maßgeschneiderte Generierungsaufgaben anhand eines Referenzbildes untersucht, stoßen jedoch nach wie vor auf Grenzen bei der Erzeugung konsistenter, feinkörniger Details. In dieser Arbeit zielen wir darauf ab, das Inkonsistenzproblem generierter Bilder durch einen referenzgestützten Nachbearbeitungsansatz zu lösen und stellen unser ImageCritic vor. Zunächst erstellen wir einen Datensatz von Referenz-Degradiert-Ziel-Tripeln, der durch VLM-basierte Auswahl und explizite Degradierung gewonnen wird und die häufig beobachteten Ungenauigkeiten oder Inkonsistenzen bestehender Generierungsmodelle effektiv simuliert. Darauf aufbauend entwickeln wir, gestützt auf eine gründliche Untersuchung der Aufmerksamkeitsmechanismen und intrinsischen Repräsentationen des Modells, einen Aufmerksamkeitsausrichtungsverlust und einen Detail-Encoder, um Inkonsistenzen präzise zu korrigieren. ImageCritic kann in ein Agenten-Framework integriert werden, um automatisch Inkonsistenzen zu erkennen und diese in komplexen Szenarien durch mehrfache lokale Bearbeitung zu korrigieren. Umfangreiche Experimente belegen, dass ImageCritic Detailprobleme in verschiedenen maßgeschneiderten Generierungsszenarien effektiv lösen und damit signifikante Verbesserungen gegenüber bestehenden Methoden erzielen kann.
English
Previous works have explored various customized generation tasks given a reference image, but they still face limitations in generating consistent fine-grained details. In this paper, our aim is to solve the inconsistency problem of generated images by applying a reference-guided post-editing approach and present our ImageCritic. We first construct a dataset of reference-degraded-target triplets obtained via VLM-based selection and explicit degradation, which effectively simulates the common inaccuracies or inconsistencies observed in existing generation models. Furthermore, building on a thorough examination of the model's attention mechanisms and intrinsic representations, we accordingly devise an attention alignment loss and a detail encoder to precisely rectify inconsistencies. ImageCritic can be integrated into an agent framework to automatically detect inconsistencies and correct them with multi-round and local editing in complex scenarios. Extensive experiments demonstrate that ImageCritic can effectively resolve detail-related issues in various customized generation scenarios, providing significant improvements over existing methods.