Найди подделку: обнаружение синтетических изображений с помощью крупных мультимодальных моделей и объяснение артефактов

Spot the Fake: Large Multimodal Model-Based Synthetic Image Detection with Artifact Explanation

March 19, 2025

Авторы: Siwei Wen, Junyan Ye, Peilin Feng, Hengrui Kang, Zichen Wen, Yize Chen, Jiang Wu, Wenjun Wu, Conghui He, Weijia Li

cs.AI

Аннотация

С быстрым развитием технологий создания контента с использованием искусственного интеллекта (AIGC), синтетические изображения становятся всё более распространёнными в повседневной жизни, что создаёт новые вызовы для оценки подлинности и обнаружения подделок. Несмотря на эффективность существующих методов в оценке подлинности изображений и локализации фальсификаций, эти подходы часто недостаточно интерпретируемы для человека и не полностью справляются с растущей сложностью синтетических данных. Для решения этих задач мы представляем FakeVLM — специализированную крупную мультимодальную модель, разработанную как для задач общего обнаружения синтетических изображений, так и для выявления DeepFake. FakeVLM не только превосходно различает реальные и поддельные изображения, но и предоставляет понятные объяснения на естественном языке для артефактов изображений, повышая интерпретируемость. Кроме того, мы представляем FakeClue — всеобъемлющий набор данных, содержащий более 100 000 изображений в семи категориях, аннотированных детализированными подсказками об артефактах на естественном языке. FakeVLM демонстрирует производительность, сопоставимую с экспертной моделью, при этом устраняя необходимость в дополнительных классификаторах, что делает её надёжным решением для обнаружения синтетических данных. Масштабные оценки на нескольких наборах данных подтверждают превосходство FakeVLM как в задачах классификации подлинности, так и в объяснении артефактов, устанавливая новый стандарт для обнаружения синтетических изображений. Набор данных и код будут опубликованы по адресу: https://github.com/opendatalab/FakeVLM.

English

With the rapid advancement of Artificial Intelligence Generated Content (AIGC) technologies, synthetic images have become increasingly prevalent in everyday life, posing new challenges for authenticity assessment and detection. Despite the effectiveness of existing methods in evaluating image authenticity and locating forgeries, these approaches often lack human interpretability and do not fully address the growing complexity of synthetic data. To tackle these challenges, we introduce FakeVLM, a specialized large multimodal model designed for both general synthetic image and DeepFake detection tasks. FakeVLM not only excels in distinguishing real from fake images but also provides clear, natural language explanations for image artifacts, enhancing interpretability. Additionally, we present FakeClue, a comprehensive dataset containing over 100,000 images across seven categories, annotated with fine-grained artifact clues in natural language. FakeVLM demonstrates performance comparable to expert models while eliminating the need for additional classifiers, making it a robust solution for synthetic data detection. Extensive evaluations across multiple datasets confirm the superiority of FakeVLM in both authenticity classification and artifact explanation tasks, setting a new benchmark for synthetic image detection. The dataset and code will be released in: https://github.com/opendatalab/FakeVLM.