Edición secuencial de conocimiento continuo sin degradación del modelo.

Lifelong Sequential Knowledge Editing without Model Degradation

February 3, 2025

Autores: Akshat Gupta, Phudish Prateepamornkul, Maochuan Lu, Ahmed Alaa, Thomas Hartvigsen, Gopala Anumanchipalli

cs.AI

Resumen

Trabajos previos en la edición de conocimiento modificando parámetros han demostrado que la edición secuencial a gran escala conduce a una degradación significativa del modelo. En este artículo, estudiamos las razones detrás de esto y escalamos la edición secuencial de conocimiento a 10,000 ediciones secuenciales, manteniendo el rendimiento posterior del modelo original. Primero mostramos que los métodos de edición de conocimiento de localización y edición conducen al sobreajuste en los hechos editados. También demostramos que la edición continua de conocimiento utilizando estos métodos conduce a un crecimiento desproporcionado en la norma de la matriz editada. Luego proporcionamos una visión crucial sobre el funcionamiento interno de los métodos de localización y edición. Mostramos que el crecimiento de la norma es un truco oculto empleado por estos métodos que otorga una mayor importancia a las activaciones de salida producidas a partir de las capas editadas. Con este "hackeo de importancia", las capas editadas contribuyen mucho más al resultado del modelo. Para mitigar estos problemas, presentamos ENCORE - Edición Robusta con Parada Temprana y Restricción de Norma. ENCORE controla el sobreajuste y el crecimiento desproporcionado de la norma para permitir la edición secuencial a largo plazo, donde podemos realizar hasta 10,000 ediciones secuenciales sin pérdida de rendimiento posterior. ENCORE también es un 61% más rápido que MEMIT y un 64% más rápido que AlphaEdit en Llama3-8B.

English

Prior work in parameter-modifying knowledge editing has shown that large-scale sequential editing leads to significant model degradation. In this paper, we study the reasons behind this and scale sequential knowledge editing to 10,000 sequential edits, while maintaining the downstream performance of the original model. We first show that locate-then-edit knowledge editing methods lead to overfitting on the edited facts. We also show that continuous knowledge editing using these methods leads to disproportionate growth in the norm of the edited matrix. We then provide a crucial insight into the inner workings of locate-then-edit methods. We show that norm-growth is a hidden trick employed by these methods that gives larger importance to the output activations produced from the edited layers. With this "importance hacking", the edited layers provide a much larger contributions to the model's output. To mitigate these issues, we present ENCORE - Early stopping and Norm-Constrained Robust knowledge Editing. ENCORE controls for overfitting and the disproportionate norm-growth to enable long-term sequential editing, where we are able to perform up to 10,000 sequential edits without loss of downstream performance. ENCORE is also 61% faster than MEMIT and 64% faster than AlphaEdit on Llama3-8B.