LEGION: Leren Gronden en Verklaren voor Detectie van Synthetische Afbeeldingen

LEGION: Learning to Ground and Explain for Synthetic Image Detection

March 19, 2025

Auteurs: Hengrui Kang, Siwei Wen, Zichen Wen, Junyan Ye, Weijia Li, Peilin Feng, Baichuan Zhou, Bin Wang, Dahua Lin, Linfeng Zhang, Conghui He

cs.AI

Samenvatting

De snelle vooruitgang in generatieve technologie is naar voren gekomen als een tweesnijdend zwaard. Hoewel het krachtige tools biedt die het gemak vergroten, brengt het ook aanzienlijke sociale zorgen met zich mee. Als verdedigers schieten de huidige methoden voor het detecteren van synthetische afbeeldingen vaak tekort op het gebied van tekstuele interpreteerbaarheid op artefactniveau en zijn ze te veel gericht op het detecteren van beeldmanipulatie, en de huidige datasets lijden meestal onder verouderde generatoren en een gebrek aan gedetailleerde annotaties. In dit artikel introduceren we SynthScars, een hoogwaardige en diverse dataset bestaande uit 12.236 volledig synthetische afbeeldingen met annotaties door menselijke experts. Het bevat 4 verschillende typen beeldinhoud, 3 categorieën artefacten en gedetailleerde annotaties die pixelgewijze segmentatie, uitgebreide tekstuele uitleg en labels voor artefactcategorieën omvatten. Verder stellen we LEGION voor (LEarning to Ground and explain for Synthetic Image detectiON), een multimodaal groot taalmodel (MLLM)-gebaseerd raamwerk voor analyse van beeldvervalsing dat artefactdetectie, segmentatie en uitleg integreert. Op basis van deze mogelijkheid verkennen we LEGION verder als een controller, waarbij we het integreren in beeldverfijningspijplijnen om de generatie van hogere kwaliteit en realistischer afbeeldingen te begeleiden. Uitgebreide experimenten tonen aan dat LEGION bestaande methoden overtreft op meerdere benchmarks, waarbij het met name de op een na beste traditionele expert op SynthScars overtreft met 3,31% in mIoU en 7,75% in F1-score. Bovendien vertonen de verfijnde afbeeldingen die onder zijn begeleiding worden gegenereerd een sterkere afstemming op menselijke voorkeuren. De code, het model en de dataset zullen worden vrijgegeven.

English

The rapid advancements in generative technology have emerged as a double-edged sword. While offering powerful tools that enhance convenience, they also pose significant social concerns. As defenders, current synthetic image detection methods often lack artifact-level textual interpretability and are overly focused on image manipulation detection, and current datasets usually suffer from outdated generators and a lack of fine-grained annotations. In this paper, we introduce SynthScars, a high-quality and diverse dataset consisting of 12,236 fully synthetic images with human-expert annotations. It features 4 distinct image content types, 3 categories of artifacts, and fine-grained annotations covering pixel-level segmentation, detailed textual explanations, and artifact category labels. Furthermore, we propose LEGION (LEarning to Ground and explain for Synthetic Image detectiON), a multimodal large language model (MLLM)-based image forgery analysis framework that integrates artifact detection, segmentation, and explanation. Building upon this capability, we further explore LEGION as a controller, integrating it into image refinement pipelines to guide the generation of higher-quality and more realistic images. Extensive experiments show that LEGION outperforms existing methods across multiple benchmarks, particularly surpassing the second-best traditional expert on SynthScars by 3.31% in mIoU and 7.75% in F1 score. Moreover, the refined images generated under its guidance exhibit stronger alignment with human preferences. The code, model, and dataset will be released.