LEGION: Обучение для обоснования и объяснения в задаче обнаружения синтетических изображений

LEGION: Learning to Ground and Explain for Synthetic Image Detection

March 19, 2025

Авторы: Hengrui Kang, Siwei Wen, Zichen Wen, Junyan Ye, Weijia Li, Peilin Feng, Baichuan Zhou, Bin Wang, Dahua Lin, Linfeng Zhang, Conghui He

cs.AI

Аннотация

Быстрое развитие генеративных технологий стало обоюдоострым мечом. С одной стороны, они предлагают мощные инструменты, повышающие удобство, с другой — вызывают серьезные социальные опасения. Современные методы обнаружения синтетических изображений, выступая в роли защитников, часто не обладают интерпретируемостью на уровне артефактов и чрезмерно сосредоточены на обнаружении манипуляций с изображениями, а текущие наборы данных обычно страдают от устаревших генераторов и отсутствия детализированных аннотаций. В данной работе мы представляем SynthScars — высококачественный и разнообразный набор данных, состоящий из 12 236 полностью синтетических изображений с аннотациями, выполненными экспертами. Он включает 4 различных типа контента изображений, 3 категории артефактов и детализированные аннотации, охватывающие пиксельную сегментацию, подробные текстовые объяснения и метки категорий артефактов. Кроме того, мы предлагаем LEGION (LEarning to Ground and explain for Synthetic Image detectiON) — мультимодальную структуру анализа подделок изображений на основе крупной языковой модели (MLLM), которая интегрирует обнаружение артефактов, сегментацию и объяснение. Опираясь на эту возможность, мы также исследуем LEGION в роли контроллера, интегрируя его в конвейеры улучшения изображений для создания более качественных и реалистичных изображений. Многочисленные эксперименты показывают, что LEGION превосходит существующие методы на нескольких тестовых наборах, особенно опережая второго лучшего традиционного эксперта на SynthScars на 3,31% по mIoU и на 7,75% по F1-оценке. Более того, улучшенные изображения, созданные под его руководством, демонстрируют более сильное соответствие предпочтениям человека. Код, модель и набор данных будут опубликованы.

English

The rapid advancements in generative technology have emerged as a double-edged sword. While offering powerful tools that enhance convenience, they also pose significant social concerns. As defenders, current synthetic image detection methods often lack artifact-level textual interpretability and are overly focused on image manipulation detection, and current datasets usually suffer from outdated generators and a lack of fine-grained annotations. In this paper, we introduce SynthScars, a high-quality and diverse dataset consisting of 12,236 fully synthetic images with human-expert annotations. It features 4 distinct image content types, 3 categories of artifacts, and fine-grained annotations covering pixel-level segmentation, detailed textual explanations, and artifact category labels. Furthermore, we propose LEGION (LEarning to Ground and explain for Synthetic Image detectiON), a multimodal large language model (MLLM)-based image forgery analysis framework that integrates artifact detection, segmentation, and explanation. Building upon this capability, we further explore LEGION as a controller, integrating it into image refinement pipelines to guide the generation of higher-quality and more realistic images. Extensive experiments show that LEGION outperforms existing methods across multiple benchmarks, particularly surpassing the second-best traditional expert on SynthScars by 3.31% in mIoU and 7.75% in F1 score. Moreover, the refined images generated under its guidance exhibit stronger alignment with human preferences. The code, model, and dataset will be released.