LOKI: Un amplio banco de pruebas para la detección de datos sintéticos utilizando grandes modelos multimodales.

LOKI: A Comprehensive Synthetic Data Detection Benchmark using Large Multimodal Models

October 13, 2024

Autores: Junyan Ye, Baichuan Zhou, Zilong Huang, Junan Zhang, Tianyi Bai, Hengrui Kang, Jun He, Honglin Lin, Zihao Wang, Tong Wu, Zhizheng Wu, Yiping Chen, Dahua Lin, Conghui He, Weijia Li

cs.AI

Resumen

Con el rápido desarrollo de contenido generado por IA, es posible que el futuro de internet se vea inundado de datos sintéticos, lo que dificultaría cada vez más la discriminación entre datos multimodales auténticos y creíbles. La detección de datos sintéticos ha captado una amplia atención, y el rendimiento de los grandes modelos multimodales (LMMs) en esta tarea ha generado un interés significativo. Los LMMs pueden ofrecer explicaciones en lenguaje natural para sus juicios de autenticidad, mejorando la explicabilidad de la detección de contenido sintético. Al mismo tiempo, la tarea de distinguir entre datos reales y sintéticos pone a prueba de manera efectiva las capacidades de percepción, conocimiento y razonamiento de los LMMs. En respuesta, presentamos LOKI, un nuevo punto de referencia diseñado para evaluar la capacidad de los LMMs para detectar datos sintéticos en múltiples modalidades. LOKI abarca modalidades de video, imagen, 3D, texto y audio, que incluyen 18K preguntas cuidadosamente seleccionadas en 26 subcategorías con niveles de dificultad claros. El punto de referencia incluye juicios de grano grueso y preguntas de opción múltiple, así como tareas de selección y explicación de anomalías de grano fino, lo que permite un análisis exhaustivo de los LMMs. Evaluamos 22 LMMs de código abierto y 6 modelos de código cerrado en LOKI, destacando su potencial como detectores de datos sintéticos y también revelando algunas limitaciones en el desarrollo de las capacidades de los LMMs. Más información sobre LOKI se puede encontrar en https://opendatalab.github.io/LOKI/

English

With the rapid development of AI-generated content, the future internet may be inundated with synthetic data, making the discrimination of authentic and credible multimodal data increasingly challenging. Synthetic data detection has thus garnered widespread attention, and the performance of large multimodal models (LMMs) in this task has attracted significant interest. LMMs can provide natural language explanations for their authenticity judgments, enhancing the explainability of synthetic content detection. Simultaneously, the task of distinguishing between real and synthetic data effectively tests the perception, knowledge, and reasoning capabilities of LMMs. In response, we introduce LOKI, a novel benchmark designed to evaluate the ability of LMMs to detect synthetic data across multiple modalities. LOKI encompasses video, image, 3D, text, and audio modalities, comprising 18K carefully curated questions across 26 subcategories with clear difficulty levels. The benchmark includes coarse-grained judgment and multiple-choice questions, as well as fine-grained anomaly selection and explanation tasks, allowing for a comprehensive analysis of LMMs. We evaluated 22 open-source LMMs and 6 closed-source models on LOKI, highlighting their potential as synthetic data detectors and also revealing some limitations in the development of LMM capabilities. More information about LOKI can be found at https://opendatalab.github.io/LOKI/