Lebenslanges sequentielles Wissensbearbeiten ohne Modellverschlechterung

Lifelong Sequential Knowledge Editing without Model Degradation

February 3, 2025

Autoren: Akshat Gupta, Phudish Prateepamornkul, Maochuan Lu, Ahmed Alaa, Thomas Hartvigsen, Gopala Anumanchipalli

cs.AI

Zusammenfassung

Frühere Arbeiten im Bereich der parametermodifizierenden Wissensbearbeitung haben gezeigt, dass groß angelegte sequenzielle Bearbeitungen zu einer signifikanten Modellverschlechterung führen. In diesem Paper untersuchen wir die Gründe dafür und skalieren die sequenzielle Wissensbearbeitung auf 10.000 aufeinanderfolgende Bearbeitungen, während wir die Leistung des ursprünglichen Modells beibehalten. Zunächst zeigen wir, dass Wissensbearbeitungsmethoden, die zuerst lokalisieren und dann bearbeiten, zu Overfitting bei den bearbeiteten Fakten führen. Wir zeigen auch, dass eine kontinuierliche Wissensbearbeitung mit diesen Methoden zu einem unverhältnismäßigen Wachstum der Norm der bearbeiteten Matrix führt. Anschließend liefern wir einen entscheidenden Einblick in die Funktionsweise von lokalisieren-und-dann-bearbeiten Methoden. Wir zeigen, dass das Normwachstum ein verborgener Trick ist, den diese Methoden anwenden, um den Ausgabeanregungen, die aus den bearbeiteten Schichten stammen, eine größere Bedeutung beizumessen. Mit diesem "Bedeutungstrick" tragen die bearbeiteten Schichten wesentlich mehr zur Ausgabe des Modells bei. Um diese Probleme zu mildern, präsentieren wir ENCORE - Frühes Stoppen und Norm-beschränkte Robuste Wissensbearbeitung. ENCORE kontrolliert das Overfitting und das unverhältnismäßige Normwachstum, um langfristige sequenzielle Bearbeitungen zu ermöglichen, bei denen wir bis zu 10.000 aufeinanderfolgende Bearbeitungen ohne Leistungsverlust durchführen können. ENCORE ist auch 61 % schneller als MEMIT und 64 % schneller als AlphaEdit auf Llama3-8B.

English

Prior work in parameter-modifying knowledge editing has shown that large-scale sequential editing leads to significant model degradation. In this paper, we study the reasons behind this and scale sequential knowledge editing to 10,000 sequential edits, while maintaining the downstream performance of the original model. We first show that locate-then-edit knowledge editing methods lead to overfitting on the edited facts. We also show that continuous knowledge editing using these methods leads to disproportionate growth in the norm of the edited matrix. We then provide a crucial insight into the inner workings of locate-then-edit methods. We show that norm-growth is a hidden trick employed by these methods that gives larger importance to the output activations produced from the edited layers. With this "importance hacking", the edited layers provide a much larger contributions to the model's output. To mitigate these issues, we present ENCORE - Early stopping and Norm-Constrained Robust knowledge Editing. ENCORE controls for overfitting and the disproportionate norm-growth to enable long-term sequential editing, where we are able to perform up to 10,000 sequential edits without loss of downstream performance. ENCORE is also 61% faster than MEMIT and 64% faster than AlphaEdit on Llama3-8B.