¡Tanto el texto como las imágenes se filtraron! Un análisis sistemático de la contaminación de datos multimodales de LLM.

Both Text and Images Leaked! A Systematic Analysis of Multimodal LLM Data Contamination

November 6, 2024

Autores: Dingjie Song, Sicheng Lai, Shunian Chen, Lichao Sun, Benyou Wang

cs.AI

Resumen

La rápida progresión de los modelos de lenguaje multimodales de gran tamaño (MLLMs) ha demostrado un rendimiento superior en varios puntos de referencia multimodales. Sin embargo, el problema de la contaminación de datos durante el entrenamiento crea desafíos en la evaluación del rendimiento y la comparación. Aunque existen numerosos métodos para detectar la contaminación del conjunto de datos en los grandes modelos de lenguaje (LLMs), son menos efectivos para los MLLMs debido a sus diversas modalidades y múltiples fases de entrenamiento. En este estudio, presentamos un marco de detección de contaminación de datos multimodales, MM-Detect, diseñado para MLLMs. Nuestros resultados experimentales indican que MM-Detect es sensible a diferentes grados de contaminación y puede resaltar mejoras significativas en el rendimiento debido a la filtración del conjunto de entrenamiento de los puntos de referencia multimodales. Además, también exploramos la posibilidad de contaminación que se origina en la fase de pre-entrenamiento de LLMs utilizada por MLLMs y en la fase de ajuste fino de MLLMs, ofreciendo nuevas perspectivas sobre las etapas en las que la contaminación puede ser introducida.

English

The rapid progression of multimodal large language models (MLLMs) has demonstrated superior performance on various multimodal benchmarks. However, the issue of data contamination during training creates challenges in performance evaluation and comparison. While numerous methods exist for detecting dataset contamination in large language models (LLMs), they are less effective for MLLMs due to their various modalities and multiple training phases. In this study, we introduce a multimodal data contamination detection framework, MM-Detect, designed for MLLMs. Our experimental results indicate that MM-Detect is sensitive to varying degrees of contamination and can highlight significant performance improvements due to leakage of the training set of multimodal benchmarks. Furthermore, We also explore the possibility of contamination originating from the pre-training phase of LLMs used by MLLMs and the fine-tuning phase of MLLMs, offering new insights into the stages at which contamination may be introduced.