Voir et Corriger les Défauts : Permettre aux VLMs et aux Modèles de Diffusion de Comprendre les Artefacts Visuels via une Synthèse de Données Agentique
See and Fix the Flaws: Enabling VLMs and Diffusion Models to Comprehend Visual Artifacts via Agentic Data Synthesis
February 24, 2026
Auteurs: Jaehyun Park, Minyoung Ahn, Minkyu Kim, Jonghyun Lee, Jae-Gil Lee, Dongmin Park
cs.AI
Résumé
Malgré les progrès récents des modèles de diffusion, les images générées par IA contiennent souvent des artefacts visuels qui compromettent le réalisme. Bien qu'un pré-entraînement plus approfondi et des modèles plus volumineux puissent réduire ces artefacts, rien ne garantit leur élimination complète, ce qui fait de l'atténuation des artefacts un domaine de recherche crucial. Les méthodologies antérieures, conscientes des artefacts, dépendent de jeux de données d'artefacts annotés manuellement, ce qui est coûteux et difficile à mettre à l'échelle, soulignant le besoin d'une approche automatisée pour acquérir de manière fiable des jeux de données annotés. Dans cet article, nous proposons ArtiAgent, qui crée efficacement des paires d'images réelles et d'images injectées avec des artefacts. Il comprend trois agents : un agent de perception qui reconnaît et localise les entités et sous-entités dans les images réelles, un agent de synthèse qui introduit des artefacts via des outils d'injection grâce à une nouvelle manipulation par patchs des embeddings au sein d'un transformeur de diffusion, et un agent de curation qui filtre les artefacts synthétisés et génère des explications locales et globales pour chaque instance. En utilisant ArtiAgent, nous synthétisons 100 000 images avec de riches annotations d'artefacts et démontrons à la fois l'efficacité et la polyvalence de notre approche dans diverses applications. Le code est disponible à l'adresse suivante : lien.
English
Despite recent advances in diffusion models, AI generated images still often contain visual artifacts that compromise realism. Although more thorough pre-training and bigger models might reduce artifacts, there is no assurance that they can be completely eliminated, which makes artifact mitigation a highly crucial area of study. Previous artifact-aware methodologies depend on human-labeled artifact datasets, which are costly and difficult to scale, underscoring the need for an automated approach to reliably acquire artifact-annotated datasets. In this paper, we propose ArtiAgent, which efficiently creates pairs of real and artifact-injected images. It comprises three agents: a perception agent that recognizes and grounds entities and subentities from real images, a synthesis agent that introduces artifacts via artifact injection tools through novel patch-wise embedding manipulation within a diffusion transformer, and a curation agent that filters the synthesized artifacts and generates both local and global explanations for each instance. Using ArtiAgent, we synthesize 100K images with rich artifact annotations and demonstrate both efficacy and versatility across diverse applications. Code is available at link.