**Увидеть и исправить недостатки: Наделение VLM и диффузионных моделей способностью понимать визуальные артефакты с помощью агентного синтеза данных**

See and Fix the Flaws: Enabling VLMs and Diffusion Models to Comprehend Visual Artifacts via Agentic Data Synthesis

February 24, 2026

Авторы: Jaehyun Park, Minyoung Ahn, Minkyu Kim, Jonghyun Lee, Jae-Gil Lee, Dongmin Park

cs.AI

Аннотация

Несмотря на недавние успехи диффузионных моделей, изображения, сгенерированные искусственным интеллектом, часто содержат визуальные артефакты, снижающие реалистичность. Хотя более тщательное предварительное обучение и более крупные модели могут уменьшить количество артефактов, нет гарантии их полного устранения, что делает задачу смягчения артефактов крайне важной областью исследований. Предыдущие методы, учитывающие артефакты, опирались на размеченные человеком наборы данных, создание которых дорого и сложно масштабировать, что подчеркивает потребность в автоматизированном подходе для надежного получения аннотированных данных. В данной статье мы предлагаем ArtiAgent — метод, который эффективно создает пары реальных изображений и изображений с внедренными артефактами. Он включает трех агентов: агент восприятия, который распознает и локализует объекты и их части на реальных изображениях; агент синтеза, который внедряет артефакты с помощью инструментов инжекции через новое патч-ориентированное манипулирование эмбеддингами в диффузионном трансформере; и агент курации, который фильтрует синтезированные артефакты и генерирует как локальные, так и глобальные объяснения для каждого экземпляра. С помощью ArtiAgent мы синтезировали 100 тыс. изображений с богатыми аннотациями артефактов и продемонстрировали эффективность и универсальность метода в различных приложениях. Код доступен по ссылке.

English

Despite recent advances in diffusion models, AI generated images still often contain visual artifacts that compromise realism. Although more thorough pre-training and bigger models might reduce artifacts, there is no assurance that they can be completely eliminated, which makes artifact mitigation a highly crucial area of study. Previous artifact-aware methodologies depend on human-labeled artifact datasets, which are costly and difficult to scale, underscoring the need for an automated approach to reliably acquire artifact-annotated datasets. In this paper, we propose ArtiAgent, which efficiently creates pairs of real and artifact-injected images. It comprises three agents: a perception agent that recognizes and grounds entities and subentities from real images, a synthesis agent that introduces artifacts via artifact injection tools through novel patch-wise embedding manipulation within a diffusion transformer, and a curation agent that filters the synthesized artifacts and generates both local and global explanations for each instance. Using ArtiAgent, we synthesize 100K images with rich artifact annotations and demonstrate both efficacy and versatility across diverse applications. Code is available at link.