ZJUKLAB à SemEval-2025 Tâche 4 : Désapprentissage via fusion de modèles

ZJUKLAB at SemEval-2025 Task 4: Unlearning via Model Merging

March 27, 2025

Auteurs: Haoming Xu, Shuxun Wang, Yanqiu Zhao, Yi Zhong, Ziyan Jiang, Ningyuan Zhao, Shumin Deng, Huajun Chen, Ningyu Zhang

cs.AI

Résumé

Cet article présente la soumission de l'équipe ZJUKLAB pour la tâche 4 de SemEval-2025 : L'effacement de contenu sensible dans les grands modèles de langage. Cette tâche vise à supprimer de manière sélective les connaissances sensibles des grands modèles de langage, en évitant à la fois les problèmes de sur-effacement et de sous-effacement. Nous proposons un système d'effacement qui exploite la fusion de modèles (notamment TIES-Merging), combinant deux modèles spécialisés en un modèle effacé plus équilibré. Notre système obtient des résultats compétitifs, se classant deuxième parmi 26 équipes, avec un score en ligne de 0,944 pour l'agrégat de la tâche et de 0,487 pour l'agrégat global. Dans cet article, nous menons également des expériences locales et effectuons une analyse approfondie du processus d'effacement, en examinant les trajectoires de performance, la dynamique des pertes et les perspectives des poids, ainsi que plusieurs expériences complémentaires, afin de comprendre l'efficacité de notre méthode. De plus, nous analysons les lacunes de notre méthode et des métriques d'évaluation, en soulignant que les scores MIA et les métriques basées sur ROUGE ne suffisent pas à eux seuls à évaluer pleinement la réussite de l'effacement. Enfin, nous insistons sur la nécessité de méthodologies d'évaluation plus complètes et d'une révision des objectifs d'effacement dans les recherches futures. Le code est disponible à l'adresse suivante : https://github.com/zjunlp/unlearn/tree/main/semeval25.

English

This paper presents the ZJUKLAB team's submission for SemEval-2025 Task 4: Unlearning Sensitive Content from Large Language Models. This task aims to selectively erase sensitive knowledge from large language models, avoiding both over-forgetting and under-forgetting issues. We propose an unlearning system that leverages Model Merging (specifically TIES-Merging), combining two specialized models into a more balanced unlearned model. Our system achieves competitive results, ranking second among 26 teams, with an online score of 0.944 for Task Aggregate and 0.487 for overall Aggregate. In this paper, we also conduct local experiments and perform a comprehensive analysis of the unlearning process, examining performance trajectories, loss dynamics, and weight perspectives, along with several supplementary experiments, to understand the effectiveness of our method. Furthermore, we analyze the shortcomings of our method and evaluation metrics, emphasizing that MIA scores and ROUGE-based metrics alone are insufficient to fully evaluate successful unlearning. Finally, we emphasize the need for more comprehensive evaluation methodologies and rethinking of unlearning objectives in future research. Code is available at https://github.com/zjunlp/unlearn/tree/main/semeval25.