LOKI: Een uitgebreide benchmark voor het detecteren van synthetische data met behulp van grote multimodale modellen

LOKI: A Comprehensive Synthetic Data Detection Benchmark using Large Multimodal Models

October 13, 2024

Auteurs: Junyan Ye, Baichuan Zhou, Zilong Huang, Junan Zhang, Tianyi Bai, Hengrui Kang, Jun He, Honglin Lin, Zihao Wang, Tong Wu, Zhizheng Wu, Yiping Chen, Dahua Lin, Conghui He, Weijia Li

cs.AI

Samenvatting

Met de snelle ontwikkeling van door AI gegenereerde inhoud kan de toekomstige internet overspoeld worden met synthetische gegevens, waardoor het steeds uitdagender wordt om authentieke en geloofwaardige multimodale gegevens te onderscheiden. Het detecteren van synthetische gegevens heeft daarom veel aandacht gekregen, en de prestaties van grote multimodale modellen (LMM's) in deze taak hebben aanzienlijke interesse gewekt. LMM's kunnen natuurlijke taalverklaringen geven voor hun authenticiteitsbeoordelingen, waardoor de verklaringsmogelijkheden van synthetische inhoudsdetectie worden verbeterd. Tegelijkertijd test de taak om echt en synthetische gegevens te onderscheiden effectief de perceptie, kennis en redeneervermogen van LMM's. Als reactie introduceren we LOKI, een nieuw benchmark ontworpen om de mogelijkheid van LMM's om synthetische gegevens over meerdere modaliteiten te detecteren te evalueren. LOKI omvat video, afbeelding, 3D, tekst en audio modaliteiten, bestaande uit 18K zorgvuldig samengestelde vragen over 26 subcategorieën met duidelijke moeilijkheidsgraden. De benchmark bevat grofkorrelige beoordelingen en meerkeuzevragen, evenals taken voor het selecteren van fijnkorrelige anomalieën en uitleg, waardoor een uitgebreide analyse van LMM's mogelijk is. We hebben 22 open-source LMM's en 6 gesloten-bronmodellen geëvalueerd op LOKI, waarbij hun potentieel als synthetische gegevensdetectoren werd benadrukt en ook enkele beperkingen in de ontwikkeling van LMM-capaciteiten aan het licht werden gebracht. Meer informatie over LOKI is te vinden op https://opendatalab.github.io/LOKI/

English

With the rapid development of AI-generated content, the future internet may be inundated with synthetic data, making the discrimination of authentic and credible multimodal data increasingly challenging. Synthetic data detection has thus garnered widespread attention, and the performance of large multimodal models (LMMs) in this task has attracted significant interest. LMMs can provide natural language explanations for their authenticity judgments, enhancing the explainability of synthetic content detection. Simultaneously, the task of distinguishing between real and synthetic data effectively tests the perception, knowledge, and reasoning capabilities of LMMs. In response, we introduce LOKI, a novel benchmark designed to evaluate the ability of LMMs to detect synthetic data across multiple modalities. LOKI encompasses video, image, 3D, text, and audio modalities, comprising 18K carefully curated questions across 26 subcategories with clear difficulty levels. The benchmark includes coarse-grained judgment and multiple-choice questions, as well as fine-grained anomaly selection and explanation tasks, allowing for a comprehensive analysis of LMMs. We evaluated 22 open-source LMMs and 6 closed-source models on LOKI, highlighting their potential as synthetic data detectors and also revealing some limitations in the development of LMM capabilities. More information about LOKI can be found at https://opendatalab.github.io/LOKI/