ZJUKLAB en SemEval-2025 Tarea 4: Desaprendizaje mediante Fusión de Modelos

ZJUKLAB at SemEval-2025 Task 4: Unlearning via Model Merging

March 27, 2025

Autores: Haoming Xu, Shuxun Wang, Yanqiu Zhao, Yi Zhong, Ziyan Jiang, Ningyuan Zhao, Shumin Deng, Huajun Chen, Ningyu Zhang

cs.AI

Resumen

Este artículo presenta la propuesta del equipo ZJUKLAB para la tarea 4 de SemEval-2025: Eliminación de contenido sensible en modelos de lenguaje grandes. Esta tarea tiene como objetivo eliminar selectivamente conocimiento sensible de los modelos de lenguaje grandes, evitando tanto problemas de olvido excesivo como insuficiente. Proponemos un sistema de eliminación que aprovecha la fusión de modelos (específicamente TIES-Merging), combinando dos modelos especializados en un modelo más equilibrado tras la eliminación. Nuestro sistema logra resultados competitivos, ocupando el segundo lugar entre 26 equipos, con una puntuación en línea de 0.944 para la Agregación de la Tarea y 0.487 para la Agregación general. En este artículo, también realizamos experimentos locales y llevamos a cabo un análisis exhaustivo del proceso de eliminación, examinando trayectorias de rendimiento, dinámicas de pérdida y perspectivas de pesos, junto con varios experimentos complementarios, para comprender la efectividad de nuestro método. Además, analizamos las limitaciones de nuestro método y las métricas de evaluación, destacando que las puntuaciones MIA y las métricas basadas en ROUGE por sí solas son insuficientes para evaluar completamente la eliminación exitosa. Finalmente, enfatizamos la necesidad de metodologías de evaluación más completas y una reconsideración de los objetivos de eliminación en investigaciones futuras. El código está disponible en https://github.com/zjunlp/unlearn/tree/main/semeval25.

English

This paper presents the ZJUKLAB team's submission for SemEval-2025 Task 4: Unlearning Sensitive Content from Large Language Models. This task aims to selectively erase sensitive knowledge from large language models, avoiding both over-forgetting and under-forgetting issues. We propose an unlearning system that leverages Model Merging (specifically TIES-Merging), combining two specialized models into a more balanced unlearned model. Our system achieves competitive results, ranking second among 26 teams, with an online score of 0.944 for Task Aggregate and 0.487 for overall Aggregate. In this paper, we also conduct local experiments and perform a comprehensive analysis of the unlearning process, examining performance trajectories, loss dynamics, and weight perspectives, along with several supplementary experiments, to understand the effectiveness of our method. Furthermore, we analyze the shortcomings of our method and evaluation metrics, emphasizing that MIA scores and ROUGE-based metrics alone are insufficient to fully evaluate successful unlearning. Finally, we emphasize the need for more comprehensive evaluation methodologies and rethinking of unlearning objectives in future research. Code is available at https://github.com/zjunlp/unlearn/tree/main/semeval25.