Texto e imagens vazados! Uma análise sistemática da contaminação de dados do LLM multimodal.

Both Text and Images Leaked! A Systematic Analysis of Multimodal LLM Data Contamination

November 6, 2024

Autores: Dingjie Song, Sicheng Lai, Shunian Chen, Lichao Sun, Benyou Wang

cs.AI

Resumo

A rápida progressão dos grandes modelos de linguagem multimodais (MLLMs) tem demonstrado desempenho superior em vários benchmarks multimodais. No entanto, a questão da contaminação de dados durante o treinamento cria desafios na avaliação e comparação de desempenho. Embora existam inúmeros métodos para detectar contaminação de conjuntos de dados em grandes modelos de linguagem (LLMs), eles são menos eficazes para MLLMs devido às suas várias modalidades e múltiplas fases de treinamento. Neste estudo, apresentamos um framework de detecção de contaminação de dados multimodais, MM-Detect, projetado para MLLMs. Nossos resultados experimentais indicam que o MM-Detect é sensível a diferentes graus de contaminação e pode destacar melhorias significativas de desempenho devido ao vazamento do conjunto de treinamento de benchmarks multimodais. Além disso, exploramos a possibilidade de contaminação originada da fase de pré-treinamento de LLMs usada por MLLMs e da fase de ajuste fino de MLLMs, oferecendo novas perspectivas sobre as etapas em que a contaminação pode ser introduzida.

English

The rapid progression of multimodal large language models (MLLMs) has demonstrated superior performance on various multimodal benchmarks. However, the issue of data contamination during training creates challenges in performance evaluation and comparison. While numerous methods exist for detecting dataset contamination in large language models (LLMs), they are less effective for MLLMs due to their various modalities and multiple training phases. In this study, we introduce a multimodal data contamination detection framework, MM-Detect, designed for MLLMs. Our experimental results indicate that MM-Detect is sensitive to varying degrees of contamination and can highlight significant performance improvements due to leakage of the training set of multimodal benchmarks. Furthermore, We also explore the possibility of contamination originating from the pre-training phase of LLMs used by MLLMs and the fine-tuning phase of MLLMs, offering new insights into the stages at which contamination may be introduced.