Détectez le faux : Détection d'images synthétiques basée sur des modèles multimodaux de grande taille avec explication des artefacts

Spot the Fake: Large Multimodal Model-Based Synthetic Image Detection with Artifact Explanation

March 19, 2025

Auteurs: Siwei Wen, Junyan Ye, Peilin Feng, Hengrui Kang, Zichen Wen, Yize Chen, Jiang Wu, Wenjun Wu, Conghui He, Weijia Li

cs.AI

Résumé

Avec l'avancée rapide des technologies de génération de contenu par intelligence artificielle (AIGC), les images synthétiques sont devenues de plus en plus omniprésentes dans la vie quotidienne, posant de nouveaux défis en matière d'évaluation et de détection de l'authenticité. Bien que les méthodes existantes soient efficaces pour évaluer l'authenticité des images et localiser les falsifications, elles manquent souvent d'interprétabilité humaine et ne répondent pas pleinement à la complexité croissante des données synthétiques. Pour relever ces défis, nous présentons FakeVLM, un modèle multimodal de grande envergure spécialement conçu pour les tâches de détection d'images synthétiques générales et de DeepFakes. FakeVLM excelle non seulement dans la distinction entre images réelles et fausses, mais fournit également des explications claires en langage naturel sur les artefacts d'image, améliorant ainsi l'interprétabilité. De plus, nous introduisons FakeClue, un ensemble de données complet contenant plus de 100 000 images réparties en sept catégories, annotées avec des indices d'artefacts granulaires en langage naturel. FakeVLM démontre des performances comparables à celles des modèles experts tout en éliminant le besoin de classificateurs supplémentaires, en faisant une solution robuste pour la détection de données synthétiques. Des évaluations approfondies sur plusieurs ensembles de données confirment la supériorité de FakeVLM dans les tâches de classification d'authenticité et d'explication des artefacts, établissant ainsi un nouveau référentiel pour la détection d'images synthétiques. Le jeu de données et le code seront disponibles à l'adresse suivante : https://github.com/opendatalab/FakeVLM.

English

With the rapid advancement of Artificial Intelligence Generated Content (AIGC) technologies, synthetic images have become increasingly prevalent in everyday life, posing new challenges for authenticity assessment and detection. Despite the effectiveness of existing methods in evaluating image authenticity and locating forgeries, these approaches often lack human interpretability and do not fully address the growing complexity of synthetic data. To tackle these challenges, we introduce FakeVLM, a specialized large multimodal model designed for both general synthetic image and DeepFake detection tasks. FakeVLM not only excels in distinguishing real from fake images but also provides clear, natural language explanations for image artifacts, enhancing interpretability. Additionally, we present FakeClue, a comprehensive dataset containing over 100,000 images across seven categories, annotated with fine-grained artifact clues in natural language. FakeVLM demonstrates performance comparable to expert models while eliminating the need for additional classifiers, making it a robust solution for synthetic data detection. Extensive evaluations across multiple datasets confirm the superiority of FakeVLM in both authenticity classification and artifact explanation tasks, setting a new benchmark for synthetic image detection. The dataset and code will be released in: https://github.com/opendatalab/FakeVLM.