LEGION: Aprendizado para Fundamentar e Explicar na Detecção de Imagens Sintéticas

LEGION: Learning to Ground and Explain for Synthetic Image Detection

March 19, 2025

Autores: Hengrui Kang, Siwei Wen, Zichen Wen, Junyan Ye, Weijia Li, Peilin Feng, Baichuan Zhou, Bin Wang, Dahua Lin, Linfeng Zhang, Conghui He

cs.AI

Resumo

Os rápidos avanços na tecnologia generativa emergiram como uma espada de dois gumes. Embora ofereçam ferramentas poderosas que aumentam a conveniência, também apresentam preocupações sociais significativas. Como defensores, os métodos atuais de detecção de imagens sintéticas frequentemente carecem de interpretabilidade textual no nível de artefatos e estão excessivamente focados na detecção de manipulação de imagens, e os conjuntos de dados atuais geralmente sofrem com geradores desatualizados e falta de anotações detalhadas. Neste artigo, apresentamos o SynthScars, um conjunto de dados de alta qualidade e diversificado, composto por 12.236 imagens totalmente sintéticas com anotações de especialistas humanos. Ele apresenta 4 tipos distintos de conteúdo de imagem, 3 categorias de artefatos e anotações detalhadas que cobrem segmentação em nível de pixel, explicações textuais detalhadas e rótulos de categorias de artefatos. Além disso, propomos o LEGION (LEarning to Ground and explain for Synthetic Image detectiON), um framework de análise de falsificação de imagens baseado em modelos de linguagem multimodal (MLLM) que integra detecção de artefatos, segmentação e explicação. Com base nessa capacidade, exploramos ainda o LEGION como um controlador, integrando-o em pipelines de refinamento de imagens para orientar a geração de imagens de maior qualidade e mais realistas. Experimentos extensivos mostram que o LEGION supera os métodos existentes em vários benchmarks, ultrapassando particularmente o segundo melhor especialista tradicional no SynthScars em 3,31% no mIoU e 7,75% no F1 score. Além disso, as imagens refinadas geradas sob sua orientação exibem um alinhamento mais forte com as preferências humanas. O código, o modelo e o conjunto de dados serão disponibilizados.

English

The rapid advancements in generative technology have emerged as a double-edged sword. While offering powerful tools that enhance convenience, they also pose significant social concerns. As defenders, current synthetic image detection methods often lack artifact-level textual interpretability and are overly focused on image manipulation detection, and current datasets usually suffer from outdated generators and a lack of fine-grained annotations. In this paper, we introduce SynthScars, a high-quality and diverse dataset consisting of 12,236 fully synthetic images with human-expert annotations. It features 4 distinct image content types, 3 categories of artifacts, and fine-grained annotations covering pixel-level segmentation, detailed textual explanations, and artifact category labels. Furthermore, we propose LEGION (LEarning to Ground and explain for Synthetic Image detectiON), a multimodal large language model (MLLM)-based image forgery analysis framework that integrates artifact detection, segmentation, and explanation. Building upon this capability, we further explore LEGION as a controller, integrating it into image refinement pipelines to guide the generation of higher-quality and more realistic images. Extensive experiments show that LEGION outperforms existing methods across multiple benchmarks, particularly surpassing the second-best traditional expert on SynthScars by 3.31% in mIoU and 7.75% in F1 score. Moreover, the refined images generated under its guidance exhibit stronger alignment with human preferences. The code, model, and dataset will be released.