Ver e Corrigir as Falhas: Capacitando VLMs e Modelos de Difusão para Compreender Artefatos Visuais via Síntese de Dados Agêntica
See and Fix the Flaws: Enabling VLMs and Diffusion Models to Comprehend Visual Artifacts via Agentic Data Synthesis
February 24, 2026
Autores: Jaehyun Park, Minyoung Ahn, Minkyu Kim, Jonghyun Lee, Jae-Gil Lee, Dongmin Park
cs.AI
Resumo
Apesar dos recentes avanços nos modelos de difusão, as imagens geradas por IA ainda frequentemente contêm artefatos visuais que comprometem o realismo. Embora um pré-treinamento mais rigoroso e modelos maiores possam reduzir os artefatos, não há garantia de que eles possam ser completamente eliminados, o que torna a mitigação de artefatos uma área de estudo de alta importância. Metodologias anteriores conscientes dos artefatos dependem de conjuntos de dados de artefatos anotados manualmente, que são custosos e difíceis de escalar, ressaltando a necessidade de uma abordagem automatizada para adquirir de forma confiável conjuntos de dados anotados com artefatos. Neste artigo, propomos o ArtiAgent, que cria eficientemente pares de imagens reais e imagens com artefatos injetados. Ele compreende três agentes: um agente de percepção que reconhece e localiza entidades e subentidades em imagens reais, um agente de síntese que introduz artefatos por meio de ferramentas de injeção de artefatos através de uma nova manipulação de *embedding* em patches dentro de um transformador de difusão, e um agente de curadoria que filtra os artefatos sintetizados e gera explicações locais e globais para cada instância. Usando o ArtiAgent, sintetizamos 100 mil imagens com anotações ricas de artefatos e demonstramos tanto eficácia quanto versatilidade em diversas aplicações. O código está disponível em [link].
English
Despite recent advances in diffusion models, AI generated images still often contain visual artifacts that compromise realism. Although more thorough pre-training and bigger models might reduce artifacts, there is no assurance that they can be completely eliminated, which makes artifact mitigation a highly crucial area of study. Previous artifact-aware methodologies depend on human-labeled artifact datasets, which are costly and difficult to scale, underscoring the need for an automated approach to reliably acquire artifact-annotated datasets. In this paper, we propose ArtiAgent, which efficiently creates pairs of real and artifact-injected images. It comprises three agents: a perception agent that recognizes and grounds entities and subentities from real images, a synthesis agent that introduces artifacts via artifact injection tools through novel patch-wise embedding manipulation within a diffusion transformer, and a curation agent that filters the synthesized artifacts and generates both local and global explanations for each instance. Using ArtiAgent, we synthesize 100K images with rich artifact annotations and demonstrate both efficacy and versatility across diverse applications. Code is available at link.