De Consistentiecriticus: Het corrigeren van inconsistenties in gegenereerde beelden via referentiegeleide aandachtige afstemming
The Consistency Critic: Correcting Inconsistencies in Generated Images via Reference-Guided Attentive Alignment
November 25, 2025
Auteurs: Ziheng Ouyang, Yiren Song, Yaoli Liu, Shihao Zhu, Qibin Hou, Ming-Ming Cheng, Mike Zheng Shou
cs.AI
Samenvatting
Eerdere onderzoeken hebben verschillende op maat gemaakte generatietaken verkend met behulp van een referentiebeeld, maar ze kampen nog steeds met beperkingen in het genereren van consistente fijne details. In dit artikel beogen we het inconsistentieprobleem van gegenereerde beelden op te lossen door een referentiegestuurde nabewerkingsaanpak toe te passen en presenteren we onze ImageCritic. We construeren eerst een dataset van referentie-gedegradeerd-doel triplets die verkregen zijn via VLM-gebaseerde selectie en expliciete degradatie, wat de veelvoorkomende onnauwkeurigheden of inconsistenties in bestaande generatiemodellen effectief simuleert. Verder, voortbouwend op een grondig onderzoek van de aandachtmechanismen en intrinsieke representaties van het model, ontwikkelen we dienovereenkomstig een aandachtuitlijningsverlies en een detailencoder om inconsistenties nauwkeurig te corrigeren. ImageCritic kan worden geïntegreerd in een agentraamwerk om automatisch inconsistenties te detecteren en te corrigeren met meerdere rondes en lokale bewerkingen in complexe scenario's. Uitgebreide experimenten tonen aan dat ImageCritic effectief detailgerelateerde problemen in diverse op maat gemaakte generatiescenario's kan oplossen, wat aanzienlijke verbeteringen oplevert ten opzichte van bestaande methoden.
English
Previous works have explored various customized generation tasks given a reference image, but they still face limitations in generating consistent fine-grained details. In this paper, our aim is to solve the inconsistency problem of generated images by applying a reference-guided post-editing approach and present our ImageCritic. We first construct a dataset of reference-degraded-target triplets obtained via VLM-based selection and explicit degradation, which effectively simulates the common inaccuracies or inconsistencies observed in existing generation models. Furthermore, building on a thorough examination of the model's attention mechanisms and intrinsic representations, we accordingly devise an attention alignment loss and a detail encoder to precisely rectify inconsistencies. ImageCritic can be integrated into an agent framework to automatically detect inconsistencies and correct them with multi-round and local editing in complex scenarios. Extensive experiments demonstrate that ImageCritic can effectively resolve detail-related issues in various customized generation scenarios, providing significant improvements over existing methods.