Постоянное последовательное редактирование знаний без деградации модели

Lifelong Sequential Knowledge Editing without Model Degradation

February 3, 2025

Авторы: Akshat Gupta, Phudish Prateepamornkul, Maochuan Lu, Ahmed Alaa, Thomas Hartvigsen, Gopala Anumanchipalli

cs.AI

Аннотация

Предыдущие исследования в области редактирования знаний путем изменения параметров показали, что масштабное последовательное редактирование приводит к значительному ухудшению модели. В данной статье мы изучаем причины этого явления и масштабируем последовательное редактирование знаний до 10 000 последовательных изменений, сохраняя при этом производительность исходной модели. Сначала мы показываем, что методы редактирования знаний сначала определить, затем изменить приводят к переобучению на отредактированных фактах. Мы также демонстрируем, что непрерывное редактирование знаний с использованием этих методов приводит к диспропорциональному росту нормы отредактированной матрицы. Затем мы предоставляем важное понимание внутреннего устройства методов сначала определить, затем изменить. Мы показываем, что рост нормы является скрытым трюком, используемым этими методами, который придает большее значение активациям выхода, полученным из отредактированных слоев. С помощью этого "взлома важности" отредактированные слои вносят гораздо больший вклад в выход модели. Для устранения этих проблем мы представляем ENCORE - Раннюю остановку и Устойчивое редактирование знаний с ограничением нормы. ENCORE контролирует переобучение и диспропорциональный рост нормы, позволяя долгосрочное последовательное редактирование, при котором мы можем выполнять до 10 000 последовательных изменений без потери производительности. ENCORE также на 61% быстрее, чем MEMIT и на 64% быстрее, чем AlphaEdit на Llama3-8B.

English

Prior work in parameter-modifying knowledge editing has shown that large-scale sequential editing leads to significant model degradation. In this paper, we study the reasons behind this and scale sequential knowledge editing to 10,000 sequential edits, while maintaining the downstream performance of the original model. We first show that locate-then-edit knowledge editing methods lead to overfitting on the edited facts. We also show that continuous knowledge editing using these methods leads to disproportionate growth in the norm of the edited matrix. We then provide a crucial insight into the inner workings of locate-then-edit methods. We show that norm-growth is a hidden trick employed by these methods that gives larger importance to the output activations produced from the edited layers. With this "importance hacking", the edited layers provide a much larger contributions to the model's output. To mitigate these issues, we present ENCORE - Early stopping and Norm-Constrained Robust knowledge Editing. ENCORE controls for overfitting and the disproportionate norm-growth to enable long-term sequential editing, where we are able to perform up to 10,000 sequential edits without loss of downstream performance. ENCORE is also 61% faster than MEMIT and 64% faster than AlphaEdit on Llama3-8B.