Sehen und Fehler beheben: Ermöglichung von VLMs und Diffusionsmodellen zur Erfassung visueller Artefakte durch agentenbasierte Datensynthese
See and Fix the Flaws: Enabling VLMs and Diffusion Models to Comprehend Visual Artifacts via Agentic Data Synthesis
February 24, 2026
Autoren: Jaehyun Park, Minyoung Ahn, Minkyu Kim, Jonghyun Lee, Jae-Gil Lee, Dongmin Park
cs.AI
Zusammenfassung
Trotz jüngster Fortschritte bei Diffusionsmodellen enthalten KI-generierte Bilder nach wie vor häufig visuelle Artefakte, die den Realismus beeinträchtigen. Obwohl gründlicher vortrainierte und größere Modelle Artefakte reduzieren könnten, gibt es keine Gewähr dafür, dass sie vollständig beseitigt werden können, was die Artefaktminderung zu einem äußerst wichtigen Forschungsgebiet macht. Bisherige artefaktbewusste Methoden sind auf von Menschen annotierte Artefakt-Datensätze angewiesen, die kostspielig und schwer zu skalieren sind. Dies unterstreicht den Bedarf an einem automatisierten Ansatz, um zuverlässig artefaktannotierte Datensätze zu erstellen. In diesem Artikel stellen wir ArtiAgent vor, der effizient Paare aus realen und artefaktinjizierten Bildern erzeugt. Das System besteht aus drei Agenten: einem Wahrnehmungsagenten, der Entitäten und Subentitäten in realen Bildern erkennt und lokalisiert, einem Syntheseagenten, der über Artefaktinjektionswerkzeuge mittels neuartiger patch-basierter Embedding-Manipulation in einem Diffusion-Transformer Artefakte einfügt, und einem Kuratierungsagenten, der die synthetisierten Artefakte filtert und sowohl lokale als auch globale Erklärungen für jede Instanz generiert. Mit ArtiAgent synthetisieren wir 100.000 Bilder mit umfangreichen Artefaktannotationen und demonstrieren sowohl Wirksamkeit als auch Vielseitigkeit in verschiedenen Anwendungen. Der Code ist unter Link verfügbar.
English
Despite recent advances in diffusion models, AI generated images still often contain visual artifacts that compromise realism. Although more thorough pre-training and bigger models might reduce artifacts, there is no assurance that they can be completely eliminated, which makes artifact mitigation a highly crucial area of study. Previous artifact-aware methodologies depend on human-labeled artifact datasets, which are costly and difficult to scale, underscoring the need for an automated approach to reliably acquire artifact-annotated datasets. In this paper, we propose ArtiAgent, which efficiently creates pairs of real and artifact-injected images. It comprises three agents: a perception agent that recognizes and grounds entities and subentities from real images, a synthesis agent that introduces artifacts via artifact injection tools through novel patch-wise embedding manipulation within a diffusion transformer, and a curation agent that filters the synthesized artifacts and generates both local and global explanations for each instance. Using ArtiAgent, we synthesize 100K images with rich artifact annotations and demonstrate both efficacy and versatility across diverse applications. Code is available at link.