LOKI: Um Benchmark Abrangente de Detecção de Dados Sintéticos usando Modelos Multimodais Grandes

LOKI: A Comprehensive Synthetic Data Detection Benchmark using Large Multimodal Models

October 13, 2024

Autores: Junyan Ye, Baichuan Zhou, Zilong Huang, Junan Zhang, Tianyi Bai, Hengrui Kang, Jun He, Honglin Lin, Zihao Wang, Tong Wu, Zhizheng Wu, Yiping Chen, Dahua Lin, Conghui He, Weijia Li

cs.AI

Resumo

Com o rápido desenvolvimento de conteúdo gerado por IA, o futuro da internet pode ser inundado com dados sintéticos, tornando cada vez mais desafiadora a discriminação entre dados multimodais autênticos e confiáveis. A detecção de dados sintéticos tem recebido ampla atenção, e o desempenho de grandes modelos multimodais (LMMs) nessa tarefa tem atraído interesse significativo. Os LMMs podem fornecer explicações em linguagem natural para suas avaliações de autenticidade, melhorando a explicabilidade da detecção de conteúdo sintético. Simultaneamente, a tarefa de distinguir entre dados reais e sintéticos testa efetivamente as capacidades de percepção, conhecimento e raciocínio dos LMMs. Em resposta, apresentamos o LOKI, um novo benchmark projetado para avaliar a capacidade dos LMMs de detectar dados sintéticos em várias modalidades. O LOKI abrange modalidades de vídeo, imagem, 3D, texto e áudio, compreendendo 18 mil perguntas cuidadosamente selecionadas em 26 subcategorias com níveis claros de dificuldade. O benchmark inclui julgamento em nível macro e perguntas de múltipla escolha, bem como seleção de anomalias em nível micro e tarefas de explicação, permitindo uma análise abrangente dos LMMs. Avaliamos 22 LMMs de código aberto e 6 modelos de código fechado no LOKI, destacando seu potencial como detectores de dados sintéticos e também revelando algumas limitações no desenvolvimento das capacidades dos LMMs. Mais informações sobre o LOKI podem ser encontradas em https://opendatalab.github.io/LOKI/

English

With the rapid development of AI-generated content, the future internet may be inundated with synthetic data, making the discrimination of authentic and credible multimodal data increasingly challenging. Synthetic data detection has thus garnered widespread attention, and the performance of large multimodal models (LMMs) in this task has attracted significant interest. LMMs can provide natural language explanations for their authenticity judgments, enhancing the explainability of synthetic content detection. Simultaneously, the task of distinguishing between real and synthetic data effectively tests the perception, knowledge, and reasoning capabilities of LMMs. In response, we introduce LOKI, a novel benchmark designed to evaluate the ability of LMMs to detect synthetic data across multiple modalities. LOKI encompasses video, image, 3D, text, and audio modalities, comprising 18K carefully curated questions across 26 subcategories with clear difficulty levels. The benchmark includes coarse-grained judgment and multiple-choice questions, as well as fine-grained anomaly selection and explanation tasks, allowing for a comprehensive analysis of LMMs. We evaluated 22 open-source LMMs and 6 closed-source models on LOKI, highlighting their potential as synthetic data detectors and also revealing some limitations in the development of LMM capabilities. More information about LOKI can be found at https://opendatalab.github.io/LOKI/