Scrub It Out! Eliminazione della Memorizzazione Sensibile nei Modelli Linguistici di Codice tramite Machine Unlearning

Scrub It Out! Erasing Sensitive Memorization in Code Language Models via Machine Unlearning

September 17, 2025

Autori: Zhaoyang Chu, Yao Wan, Zhikun Zhang, Di Wang, Zhou Yang, Hongyu Zhang, Pan Zhou, Xuanhua Shi, Hai Jin, David Lo

cs.AI

Abstract

Sebbene i modelli linguistici per il codice (Code Language Models, CLM) abbiano dimostrato prestazioni superiori in attività di ingegneria del software come la generazione e la sintesi del codice, recenti studi empirici rivelano una vulnerabilità critica in termini di privacy: questi modelli mostrano una memorizzazione involontaria di dati sensibili di addestramento, consentendo la riproduzione letterale di informazioni riservate quando specificamente sollecitati. Per affrontare questo problema, sono stati proposti diversi approcci, tra cui la deduplicazione dei dati di addestramento e l'integrazione della privacy differenziale. Tuttavia, questi metodi richiedono un riaddestramento completo dei CLM già distribuiti, comportando costi computazionali significativi. In questo articolo, ci proponiamo di rispondere alla seguente domanda di ricerca: È possibile cancellare in modo efficace ed efficiente le informazioni sensibili memorizzate dai CLM? Svolgiamo un'indagine pionieristica sull'eliminazione della memorizzazione sensibile nei CLM attraverso il machine unlearning, un metodo di modifica post-hoc che rimuove informazioni specifiche da modelli già addestrati senza richiedere un riaddestramento completo. Nello specifico, quantifichiamo prima i rischi di memorizzazione dei dati sensibili all'interno dei dataset di addestramento dei CLM e selezioniamo un dataset ad alto rischio di 50.000 campioni sensibili memorizzati come obiettivi di unlearning. Studiamo due approcci di unlearning basati su gradient ascent ampiamente utilizzati: il metodo vanilla e quello basato su vincoli, e introduciamo CodeEraser, una variante avanzata che elimina selettivamente i segmenti di codice sensibili memorizzati preservando l'integrità strutturale e la correttezza funzionale del codice circostante. Esperimenti estesi su tre famiglie di CLM, ovvero CodeParrot, CodeGen-Mono e Qwen2.5-Coder, convalidano l'efficacia e l'efficienza di CodeEraser nell'eliminare la memorizzazione sensibile mirata mantenendo l'utilità del modello.

English

While Code Language Models (CLMs) have demonstrated superior performance in software engineering tasks such as code generation and summarization, recent empirical studies reveal a critical privacy vulnerability: these models exhibit unintended memorization of sensitive training data, enabling verbatim reproduction of confidential information when specifically prompted. To address this issue, several approaches, including training data de-duplication and differential privacy augmentation, have been proposed. However, these methods require full-model retraining for deployed CLMs, which incurs substantial computational costs. In this paper, we aim to answer the following research question: Can sensitive information memorized by CLMs be erased effectively and efficiently? We conduct a pioneering investigation into erasing sensitive memorization in CLMs through machine unlearning - a post-hoc modification method that removes specific information from trained models without requiring full retraining. Specifically, we first quantify the memorization risks of sensitive data within CLM training datasets and curate a high-risk dataset of 50,000 sensitive memorized samples as unlearning targets. We study two widely used gradient ascent-based unlearning approaches: the vanilla and constraint-based methods, and introduce CodeEraser, an advanced variant that selectively unlearns sensitive memorized segments in code while preserving the structural integrity and functional correctness of the surrounding code. Extensive experiments on three families of CLMs, i.e., CodeParrot, CodeGen-Mono, and Qwen2.5-Coder, validate the effectiveness and efficiency of CodeEraser in erasing targeted sensitive memorization while maintaining model utility.