テキストと画像の両方が流出！マルチモーダルLLMデータ汚染の体系的分析

Both Text and Images Leaked! A Systematic Analysis of Multimodal LLM Data Contamination

November 6, 2024

著者: Dingjie Song, Sicheng Lai, Shunian Chen, Lichao Sun, Benyou Wang

cs.AI

要旨

マルチモーダル大規模言語モデル（MLLMs）の急速な進化は、さまざまなマルチモーダルベンチマークで優れたパフォーマンスを示しています。ただし、トレーニング中のデータ汚染の問題は、パフォーマンス評価と比較において課題を生じさせます。大規模言語モデル（LLMs）におけるデータセットの汚染を検出するための多数の手法が存在しますが、それらはマルチモーダル性と複数のトレーニングフェーズを持つMLLMsに対しては効果が低いです。本研究では、MLLMs向けに設計されたマルチモーダルデータ汚染検出フレームワークであるMM-Detectを紹介します。実験結果によると、MM-Detectは異なる程度の汚染に対して敏感であり、マルチモーダルベンチマークのトレーニングセットの漏洩による著しいパフォーマンス向上を示すことができます。さらに、MLLMsによって使用されるLLMsの事前トレーニングフェーズやMLLMsのファインチューニングフェーズから汚染が生じる可能性についても探求し、汚染が導入される段階に新たな示唆を提供しています。

English

The rapid progression of multimodal large language models (MLLMs) has demonstrated superior performance on various multimodal benchmarks. However, the issue of data contamination during training creates challenges in performance evaluation and comparison. While numerous methods exist for detecting dataset contamination in large language models (LLMs), they are less effective for MLLMs due to their various modalities and multiple training phases. In this study, we introduce a multimodal data contamination detection framework, MM-Detect, designed for MLLMs. Our experimental results indicate that MM-Detect is sensitive to varying degrees of contamination and can highlight significant performance improvements due to leakage of the training set of multimodal benchmarks. Furthermore, We also explore the possibility of contamination originating from the pre-training phase of LLMs used by MLLMs and the fine-tuning phase of MLLMs, offering new insights into the stages at which contamination may be introduced.