LEGION: Aprendizaje para Fundamentar y Explicar en la Detección de Imágenes Sintéticas

LEGION: Learning to Ground and Explain for Synthetic Image Detection

March 19, 2025

Autores: Hengrui Kang, Siwei Wen, Zichen Wen, Junyan Ye, Weijia Li, Peilin Feng, Baichuan Zhou, Bin Wang, Dahua Lin, Linfeng Zhang, Conghui He

cs.AI

Resumen

Los rápidos avances en la tecnología generativa han surgido como una espada de doble filo. Si bien ofrecen herramientas poderosas que mejoran la conveniencia, también plantean preocupaciones sociales significativas. Como defensores, los métodos actuales de detección de imágenes sintéticas a menudo carecen de interpretabilidad textual a nivel de artefactos y se centran excesivamente en la detección de manipulación de imágenes, y los conjuntos de datos actuales suelen sufrir de generadores obsoletos y una falta de anotaciones detalladas. En este artículo, presentamos SynthScars, un conjunto de datos de alta calidad y diverso que consta de 12,236 imágenes completamente sintéticas con anotaciones de expertos humanos. Incluye 4 tipos distintos de contenido de imagen, 3 categorías de artefactos y anotaciones detalladas que cubren segmentación a nivel de píxel, explicaciones textuales detalladas y etiquetas de categoría de artefactos. Además, proponemos LEGION (LEarning to Ground and explain for Synthetic Image detectiON), un marco de análisis de falsificación de imágenes basado en un modelo de lenguaje multimodal (MLLM) que integra detección de artefactos, segmentación y explicación. Basándonos en esta capacidad, exploramos además LEGION como un controlador, integrándolo en tuberías de refinamiento de imágenes para guiar la generación de imágenes de mayor calidad y más realistas. Experimentos extensos muestran que LEGION supera a los métodos existentes en múltiples puntos de referencia, superando particularmente al segundo mejor experto tradicional en SynthScars por 3.31% en mIoU y 7.75% en puntuación F1. Además, las imágenes refinadas generadas bajo su guía exhiben una mayor alineación con las preferencias humanas. El código, el modelo y el conjunto de datos serán publicados.

English

The rapid advancements in generative technology have emerged as a double-edged sword. While offering powerful tools that enhance convenience, they also pose significant social concerns. As defenders, current synthetic image detection methods often lack artifact-level textual interpretability and are overly focused on image manipulation detection, and current datasets usually suffer from outdated generators and a lack of fine-grained annotations. In this paper, we introduce SynthScars, a high-quality and diverse dataset consisting of 12,236 fully synthetic images with human-expert annotations. It features 4 distinct image content types, 3 categories of artifacts, and fine-grained annotations covering pixel-level segmentation, detailed textual explanations, and artifact category labels. Furthermore, we propose LEGION (LEarning to Ground and explain for Synthetic Image detectiON), a multimodal large language model (MLLM)-based image forgery analysis framework that integrates artifact detection, segmentation, and explanation. Building upon this capability, we further explore LEGION as a controller, integrating it into image refinement pipelines to guide the generation of higher-quality and more realistic images. Extensive experiments show that LEGION outperforms existing methods across multiple benchmarks, particularly surpassing the second-best traditional expert on SynthScars by 3.31% in mIoU and 7.75% in F1 score. Moreover, the refined images generated under its guidance exhibit stronger alignment with human preferences. The code, model, and dataset will be released.