Rilevamento della Contaminazione per Modelli Linguistici Visivi tramite Perturbazione Semantica Multi-Modale

Contamination Detection for VLMs using Multi-Modal Semantic Perturbation

November 5, 2025

Autori: Jaden Park, Mu Cai, Feng Yao, Jingbo Shang, Soochahn Lee, Yong Jae Lee

cs.AI

Abstract

I recenti progressi nei Modelli Visione-Linguaggio (VLM) hanno raggiunto prestazioni all'avanguardia in numerosi task di benchmark. Tuttavia, l'utilizzo di corpora di pre-addestramento su scala internet, spesso proprietari, solleva una preoccupazione critica sia per i professionisti che per gli utenti: performance inflazionate a causa della contaminazione dei dati di test. Sebbene lavori precedenti abbiano proposto strategie di mitigazione come la decontaminazione dei dati di pre-addestramento e la riprogettazione dei benchmark per gli LLM, la direzione complementare dello sviluppo di metodi di rilevamento per VLM contaminati rimane poco esplorata. Per colmare questa lacuna, contaminiamo deliberatamente VLM open-source su benchmark popolari e dimostriamo che gli approcci di rilevamento esistenti falliscono completamente o mostrano comportamenti inconsistenti. Proponiamo quindi un nuovo metodo di rilevamento semplice ma efficace basato sulla perturbazione semantica multimodale, dimostrando che i modelli contaminati non riescono a generalizzare sotto perturbazioni controllate. Infine, convalidiamo il nostro approccio su molteplici strategie di contaminazione realistiche, confermandone robustezza ed efficacia. Il codice e il dataset perturbato saranno rilasciati pubblicamente.

English

Recent advances in Vision-Language Models (VLMs) have achieved state-of-the-art performance on numerous benchmark tasks. However, the use of internet-scale, often proprietary, pretraining corpora raises a critical concern for both practitioners and users: inflated performance due to test-set leakage. While prior works have proposed mitigation strategies such as decontamination of pretraining data and benchmark redesign for LLMs, the complementary direction of developing detection methods for contaminated VLMs remains underexplored. To address this gap, we deliberately contaminate open-source VLMs on popular benchmarks and show that existing detection approaches either fail outright or exhibit inconsistent behavior. We then propose a novel simple yet effective detection method based on multi-modal semantic perturbation, demonstrating that contaminated models fail to generalize under controlled perturbations. Finally, we validate our approach across multiple realistic contamination strategies, confirming its robustness and effectiveness. The code and perturbed dataset will be released publicly.