Apague Isso! Eliminando Memorização Sensitiva em Modelos de Linguagem de Código por meio de Desaprendizado de Máquina

Scrub It Out! Erasing Sensitive Memorization in Code Language Models via Machine Unlearning

September 17, 2025

Autores: Zhaoyang Chu, Yao Wan, Zhikun Zhang, Di Wang, Zhou Yang, Hongyu Zhang, Pan Zhou, Xuanhua Shi, Hai Jin, David Lo

cs.AI

Resumo

Embora os Modelos de Linguagem de Código (CLMs, na sigla em inglês) tenham demonstrado desempenho superior em tarefas de engenharia de software, como geração e sumarização de código, estudos empíricos recentes revelam uma vulnerabilidade crítica de privacidade: esses modelos exibem memorização não intencional de dados sensíveis de treinamento, permitindo a reprodução textual de informações confidenciais quando especificamente solicitados. Para abordar esse problema, várias abordagens, incluindo a desduplicação de dados de treinamento e a aplicação de privacidade diferencial, foram propostas. No entanto, esses métodos exigem o retreinamento completo dos CLMs já implantados, o que acarreta custos computacionais substanciais. Neste artigo, buscamos responder à seguinte questão de pesquisa: As informações sensíveis memorizadas pelos CLMs podem ser apagadas de forma eficaz e eficiente? Realizamos uma investigação pioneira sobre a eliminação de memorização sensível em CLMs por meio do desaprendizado de máquina (machine unlearning) — um método de modificação pós-treinamento que remove informações específicas de modelos já treinados sem a necessidade de retreinamento completo. Especificamente, primeiro quantificamos os riscos de memorização de dados sensíveis nos conjuntos de dados de treinamento dos CLMs e selecionamos um conjunto de dados de alto risco com 50.000 amostras sensíveis memorizadas como alvos de desaprendizado. Estudamos duas abordagens amplamente utilizadas de desaprendizado baseadas em ascensão de gradiente: os métodos vanilla e baseados em restrições, e introduzimos o CodeEraser, uma variante avançada que desaprende seletivamente segmentos sensíveis memorizados no código, preservando a integridade estrutural e a correção funcional do código circundante. Experimentos extensivos em três famílias de CLMs — CodeParrot, CodeGen-Mono e Qwen2.5-Coder — validam a eficácia e eficiência do CodeEraser na eliminação de memorização sensível direcionada, mantendo a utilidade do modelo.

English

While Code Language Models (CLMs) have demonstrated superior performance in software engineering tasks such as code generation and summarization, recent empirical studies reveal a critical privacy vulnerability: these models exhibit unintended memorization of sensitive training data, enabling verbatim reproduction of confidential information when specifically prompted. To address this issue, several approaches, including training data de-duplication and differential privacy augmentation, have been proposed. However, these methods require full-model retraining for deployed CLMs, which incurs substantial computational costs. In this paper, we aim to answer the following research question: Can sensitive information memorized by CLMs be erased effectively and efficiently? We conduct a pioneering investigation into erasing sensitive memorization in CLMs through machine unlearning - a post-hoc modification method that removes specific information from trained models without requiring full retraining. Specifically, we first quantify the memorization risks of sensitive data within CLM training datasets and curate a high-risk dataset of 50,000 sensitive memorized samples as unlearning targets. We study two widely used gradient ascent-based unlearning approaches: the vanilla and constraint-based methods, and introduce CodeEraser, an advanced variant that selectively unlearns sensitive memorized segments in code while preserving the structural integrity and functional correctness of the surrounding code. Extensive experiments on three families of CLMs, i.e., CodeParrot, CodeGen-Mono, and Qwen2.5-Coder, validate the effectiveness and efficiency of CodeEraser in erasing targeted sensitive memorization while maintaining model utility.