Zien en Herstellen van Gebreken: Het Mogelijk Maken voor VLMs en Diffusion-modellen om Visuele Artefacten te Begrijpen via Agent-gebaseerde Datasynthese

See and Fix the Flaws: Enabling VLMs and Diffusion Models to Comprehend Visual Artifacts via Agentic Data Synthesis

February 24, 2026

Auteurs: Jaehyun Park, Minyoung Ahn, Minkyu Kim, Jonghyun Lee, Jae-Gil Lee, Dongmin Park

cs.AI

Samenvatting

Ondanks recente vooruitgang in diffusiemodellen bevatten door AI gegenereerde afbeeldingen vaak nog visuele artefacten die de realistische uitstraling aantasten. Hoewel grondigere voorafgaande training en grotere modellen artefacten kunnen verminderen, is er geen garantie dat ze volledig geëlimineerd kunnen worden, wat artefactmitigatie tot een cruciaal onderzoeksgebied maakt. Eerdere artefactbewuste methodologieën zijn afhankelijk van door mensen gelabelde artefactdatasets, die kostbaar en moeilijk op te schalen zijn, wat de behoefte aan een geautomatiseerde aanpak benadrukt om op betrouwbare wijze artefactgeannoteerde datasets te verkrijgen. In dit artikel stellen we ArtiAgent voor, dat efficiënt paren van echte en met artefacten geïnjecteerde afbeeldingen creëert. Het bestaat uit drie agents: een perceptie-agent die entiteiten en subentiteiten uit echte afbeeldingen herkent en lokaliseert, een synthese-agent die artefacten introduceert via artefactinjectietools door middel van nieuwe patchgewijze embeddingmanipulatie binnen een diffusietransformer, en een curatie-agent die de gesynthetiseerde artefacten filtert en zowel lokale als globale verklaringen voor elke instantie genereert. Met ArtiAgent synthetiseren we 100K afbeeldingen met rijke artefactannotaties en demonstreren we zowel effectiviteit als veelzijdigheid in diverse toepassingen. Code is beschikbaar op link.

English

Despite recent advances in diffusion models, AI generated images still often contain visual artifacts that compromise realism. Although more thorough pre-training and bigger models might reduce artifacts, there is no assurance that they can be completely eliminated, which makes artifact mitigation a highly crucial area of study. Previous artifact-aware methodologies depend on human-labeled artifact datasets, which are costly and difficult to scale, underscoring the need for an automated approach to reliably acquire artifact-annotated datasets. In this paper, we propose ArtiAgent, which efficiently creates pairs of real and artifact-injected images. It comprises three agents: a perception agent that recognizes and grounds entities and subentities from real images, a synthesis agent that introduces artifacts via artifact injection tools through novel patch-wise embedding manipulation within a diffusion transformer, and a curation agent that filters the synthesized artifacts and generates both local and global explanations for each instance. Using ArtiAgent, we synthesize 100K images with rich artifact annotations and demonstrate both efficacy and versatility across diverse applications. Code is available at link.