Vedere e Correggere le Imperfezioni: Abilitare i VLM e i Modelli di Diffusione a Comprendere gli Artefatti Visivi tramite Sintesi Dati Agente-Orientata
See and Fix the Flaws: Enabling VLMs and Diffusion Models to Comprehend Visual Artifacts via Agentic Data Synthesis
February 24, 2026
Autori: Jaehyun Park, Minyoung Ahn, Minkyu Kim, Jonghyun Lee, Jae-Gil Lee, Dongmin Park
cs.AI
Abstract
Nonostante i recenti progressi nei modelli di diffusione, le immagini generate dall'intelligenza artificiale contengono spesso ancora artefatti visivi che compromettono il realismo. Sebbene un pre-addestramento più approfondito e modelli più grandi possano ridurre gli artefatti, non vi è alcuna garanzia che possano essere eliminati completamente, il che rende la mitigazione degli artefatti un'area di ricerca estremamente cruciale. Le metodologie precedenti, consapevoli degli artefatti, dipendono da dataset di artefatti etichettati manualmente, costosi e difficili da scalare, sottolineando la necessità di un approccio automatizzato per acquisire in modo affidabile dataset annotati con artefatti. In questo articolo, proponiamo ArtiAgent, che crea efficientemente coppie di immagini reali e immagini con artefatti iniettati. Esso comprende tre agenti: un agente di percezione che riconosce e localizza entità e sotto-entità in immagini reali, un agente di sintesi che introduce artefatti tramite strumenti di iniezione di artefatti attraverso una nuova manipolazione di embedding a patch all'interno di un diffusion transformer, e un agente di curatela che filtra gli artefatti sintetizzati e genera spiegazioni sia locali che globali per ogni istanza. Utilizzando ArtiAgent, sintetizziamo 100.000 immagini con ricche annotazioni di artefatti e ne dimostriamo sia l'efficacia che la versatilità in varie applicazioni. Il codice è disponibile al link.
English
Despite recent advances in diffusion models, AI generated images still often contain visual artifacts that compromise realism. Although more thorough pre-training and bigger models might reduce artifacts, there is no assurance that they can be completely eliminated, which makes artifact mitigation a highly crucial area of study. Previous artifact-aware methodologies depend on human-labeled artifact datasets, which are costly and difficult to scale, underscoring the need for an automated approach to reliably acquire artifact-annotated datasets. In this paper, we propose ArtiAgent, which efficiently creates pairs of real and artifact-injected images. It comprises three agents: a perception agent that recognizes and grounds entities and subentities from real images, a synthesis agent that introduces artifacts via artifact injection tools through novel patch-wise embedding manipulation within a diffusion transformer, and a curation agent that filters the synthesized artifacts and generates both local and global explanations for each instance. Using ArtiAgent, we synthesize 100K images with rich artifact annotations and demonstrate both efficacy and versatility across diverse applications. Code is available at link.