Edição Sequencial de Conhecimento Contínuo sem Degradação do Modelo

Lifelong Sequential Knowledge Editing without Model Degradation

February 3, 2025

Autores: Akshat Gupta, Phudish Prateepamornkul, Maochuan Lu, Ahmed Alaa, Thomas Hartvigsen, Gopala Anumanchipalli

cs.AI

Resumo

Trabalhos anteriores em edição de conhecimento por modificação de parâmetros mostraram que a edição sequencial em larga escala leva a uma degradação significativa do modelo. Neste artigo, estudamos as razões por trás disso e escalamos a edição sequencial de conhecimento para 10.000 edições sequenciais, mantendo o desempenho subsequente do modelo original. Primeiramente, demonstramos que os métodos de edição de conhecimento localizar-e-depois-editar levam ao overfitting nos fatos editados. Também mostramos que a edição contínua de conhecimento usando esses métodos resulta em um crescimento desproporcional na norma da matriz editada. Em seguida, fornecemos uma visão crucial sobre o funcionamento interno dos métodos localizar-e-depois-editar. Mostramos que o crescimento da norma é um truque oculto empregado por esses métodos que dá maior importância às ativações de saída produzidas pelas camadas editadas. Com esse "hack de importância", as camadas editadas contribuem muito mais para a saída do modelo. Para mitigar esses problemas, apresentamos o ENCORE - Edição Robusta com Parada Antecipada e Restrição de Norma. O ENCORE controla o overfitting e o crescimento desproporcional da norma para permitir a edição sequencial de longo prazo, onde conseguimos realizar até 10.000 edições sequenciais sem perda de desempenho subsequente. O ENCORE também é 61% mais rápido que o MEMIT e 64% mais rápido que o AlphaEdit no Llama3-8B.

English

Prior work in parameter-modifying knowledge editing has shown that large-scale sequential editing leads to significant model degradation. In this paper, we study the reasons behind this and scale sequential knowledge editing to 10,000 sequential edits, while maintaining the downstream performance of the original model. We first show that locate-then-edit knowledge editing methods lead to overfitting on the edited facts. We also show that continuous knowledge editing using these methods leads to disproportionate growth in the norm of the edited matrix. We then provide a crucial insight into the inner workings of locate-then-edit methods. We show that norm-growth is a hidden trick employed by these methods that gives larger importance to the output activations produced from the edited layers. With this "importance hacking", the edited layers provide a much larger contributions to the model's output. To mitigate these issues, we present ENCORE - Early stopping and Norm-Constrained Robust knowledge Editing. ENCORE controls for overfitting and the disproportionate norm-growth to enable long-term sequential editing, where we are able to perform up to 10,000 sequential edits without loss of downstream performance. ENCORE is also 61% faster than MEMIT and 64% faster than AlphaEdit on Llama3-8B.