¡Bórralo! Eliminación de la memorización sensible en modelos de lenguaje de código mediante el desaprendizaje automático

Scrub It Out! Erasing Sensitive Memorization in Code Language Models via Machine Unlearning

September 17, 2025

Autores: Zhaoyang Chu, Yao Wan, Zhikun Zhang, Di Wang, Zhou Yang, Hongyu Zhang, Pan Zhou, Xuanhua Shi, Hai Jin, David Lo

cs.AI

Resumen

Si bien los Modelos de Lenguaje de Código (CLMs, por sus siglas en inglés) han demostrado un rendimiento superior en tareas de ingeniería de software, como la generación y resumen de código, estudios empíricos recientes revelan una vulnerabilidad crítica en materia de privacidad: estos modelos exhiben una memorización no intencionada de datos sensibles de entrenamiento, lo que permite la reproducción textual de información confidencial cuando se les solicita específicamente. Para abordar este problema, se han propuesto varios enfoques, incluida la desduplicación de datos de entrenamiento y la aplicación de privacidad diferencial. Sin embargo, estos métodos requieren un reentrenamiento completo de los CLMs ya implementados, lo que conlleva costos computacionales significativos. En este artículo, buscamos responder a la siguiente pregunta de investigación: ¿Se puede eliminar de manera efectiva y eficiente la información sensible memorizada por los CLMs? Realizamos una investigación pionera sobre la eliminación de memorización sensible en CLMs mediante el desaprendizaje automático (machine unlearning), un método de modificación posterior que elimina información específica de modelos ya entrenados sin necesidad de un reentrenamiento completo. En concreto, primero cuantificamos los riesgos de memorización de datos sensibles dentro de los conjuntos de datos de entrenamiento de CLMs y seleccionamos un conjunto de datos de alto riesgo con 50,000 muestras sensibles memorizadas como objetivos de desaprendizaje. Estudiamos dos enfoques ampliamente utilizados basados en ascenso de gradiente: el método básico y el método basado en restricciones, e introducimos CodeEraser, una variante avanzada que elimina selectivamente segmentos sensibles memorizados en el código mientras preserva la integridad estructural y la corrección funcional del código circundante. Experimentos exhaustivos en tres familias de CLMs, es decir, CodeParrot, CodeGen-Mono y Qwen2.5-Coder, validan la efectividad y eficiencia de CodeEraser para eliminar la memorización sensible objetivo sin comprometer la utilidad del modelo.

English

While Code Language Models (CLMs) have demonstrated superior performance in software engineering tasks such as code generation and summarization, recent empirical studies reveal a critical privacy vulnerability: these models exhibit unintended memorization of sensitive training data, enabling verbatim reproduction of confidential information when specifically prompted. To address this issue, several approaches, including training data de-duplication and differential privacy augmentation, have been proposed. However, these methods require full-model retraining for deployed CLMs, which incurs substantial computational costs. In this paper, we aim to answer the following research question: Can sensitive information memorized by CLMs be erased effectively and efficiently? We conduct a pioneering investigation into erasing sensitive memorization in CLMs through machine unlearning - a post-hoc modification method that removes specific information from trained models without requiring full retraining. Specifically, we first quantify the memorization risks of sensitive data within CLM training datasets and curate a high-risk dataset of 50,000 sensitive memorized samples as unlearning targets. We study two widely used gradient ascent-based unlearning approaches: the vanilla and constraint-based methods, and introduce CodeEraser, an advanced variant that selectively unlearns sensitive memorized segments in code while preserving the structural integrity and functional correctness of the surrounding code. Extensive experiments on three families of CLMs, i.e., CodeParrot, CodeGen-Mono, and Qwen2.5-Coder, validate the effectiveness and efficiency of CodeEraser in erasing targeted sensitive memorization while maintaining model utility.