Spot de Nep: Detectie van Synthetische Afbeeldingen met Grote Multimodale Modellen en Uitleg van Artefacten

Spot the Fake: Large Multimodal Model-Based Synthetic Image Detection with Artifact Explanation

March 19, 2025

Auteurs: Siwei Wen, Junyan Ye, Peilin Feng, Hengrui Kang, Zichen Wen, Yize Chen, Jiang Wu, Wenjun Wu, Conghui He, Weijia Li

cs.AI

Samenvatting

Met de snelle vooruitgang van Artificial Intelligence Generated Content (AIGC)-technologieën zijn synthetische afbeeldingen steeds vaker voorkomend in het dagelijks leven, wat nieuwe uitdagingen met zich meebrengt voor authenticiteitsbeoordeling en detectie. Ondanks de effectiviteit van bestaande methoden voor het evalueren van beeldauthenticiteit en het lokaliseren van vervalsingen, ontbreekt het deze benaderingen vaak aan menselijke interpreteerbaarheid en gaan ze niet volledig in op de toenemende complexiteit van synthetische data. Om deze uitdagingen aan te pakken, introduceren we FakeVLM, een gespecialiseerd groot multimodaal model ontworpen voor zowel algemene synthetische beelddetectie als DeepFake-detectietaken. FakeVLM blinkt niet alleen uit in het onderscheiden van echte en vervalste afbeeldingen, maar biedt ook duidelijke, natuurlijke taalverklaringen voor beeldartefacten, wat de interpreteerbaarheid vergroot. Daarnaast presenteren we FakeClue, een uitgebreide dataset met meer dan 100.000 afbeeldingen in zeven categorieën, geannoteerd met fijnmazige artefactaanwijzingen in natuurlijke taal. FakeVLM toont prestaties die vergelijkbaar zijn met expertmodellen, terwijl het de noodzaak voor aanvullende classificatoren elimineert, waardoor het een robuuste oplossing is voor synthetische datadetectie. Uitgebreide evaluaties over meerdere datasets bevestigen de superioriteit van FakeVLM in zowel authenticiteitsclassificatie als artefactverklaringstaken, waarmee een nieuwe standaard wordt gezet voor synthetische beelddetectie. De dataset en code zullen worden vrijgegeven op: https://github.com/opendatalab/FakeVLM.

English

With the rapid advancement of Artificial Intelligence Generated Content (AIGC) technologies, synthetic images have become increasingly prevalent in everyday life, posing new challenges for authenticity assessment and detection. Despite the effectiveness of existing methods in evaluating image authenticity and locating forgeries, these approaches often lack human interpretability and do not fully address the growing complexity of synthetic data. To tackle these challenges, we introduce FakeVLM, a specialized large multimodal model designed for both general synthetic image and DeepFake detection tasks. FakeVLM not only excels in distinguishing real from fake images but also provides clear, natural language explanations for image artifacts, enhancing interpretability. Additionally, we present FakeClue, a comprehensive dataset containing over 100,000 images across seven categories, annotated with fine-grained artifact clues in natural language. FakeVLM demonstrates performance comparable to expert models while eliminating the need for additional classifiers, making it a robust solution for synthetic data detection. Extensive evaluations across multiple datasets confirm the superiority of FakeVLM in both authenticity classification and artifact explanation tasks, setting a new benchmark for synthetic image detection. The dataset and code will be released in: https://github.com/opendatalab/FakeVLM.