Редактирование моделей с использованием канонических примеров

Model Editing with Canonical Examples

February 9, 2024

Авторы: John Hewitt, Sarah Chen, Lanruo Lora Xie, Edward Adams, Percy Liang, Christopher D. Manning

cs.AI

Аннотация

Мы представляем редактирование моделей с использованием канонических примеров — подход, в котором (1) для каждого желаемого поведения предоставляется один обучающий пример, (2) оценка проводится исключительно на данных, выходящих за пределы распределения, и (3) отклонение от исходной модели строго ограничено. Канонический пример — это простой случай желаемого поведения (например, «Столица Маврикия — Порт-Луи») или нежелательного поведения (например, «Аспект исследователей — бессердечность»). Набор для оценки содержит более сложные примеры каждого поведения (например, абзац, в котором требуется указать столицу Маврикия). Мы создаем три набора данных и модифицируем еще три для редактирования моделей с использованием канонических примеров, охватывая улучшения, связанные с обработкой знаний, смягчение социальных предубеждений и синтаксические крайние случаи. В наших экспериментах с языковыми моделями Pythia мы обнаруживаем, что LoRA превосходит полное тонкое настройку и MEMIT. Затем мы обращаемся к архитектуре языковой модели Backpack, поскольку она предназначена для целенаправленного улучшения. Backpack определяет большой банк векторов смыслов — декомпозицию различных значений каждого слова, — которые взвешиваются и суммируются для формирования выходных логитов модели. Мы предлагаем тонкую настройку смыслов, которая выбирает и настраивает несколько (примерно 10) векторов смыслов для каждого канонического примера, и обнаруживаем, что она превосходит другие методы тонкой настройки (например, улучшение на 4,8% против 0,3%). Наконец, мы улучшаем GPT-J-6B с помощью ансамбля на этапе вывода, используя только изменения от тонкой настройки смыслов Backpack, который в 35 раз меньше, и в одном из сценариев превосходим редактирование самой GPT-J (4,1% против 1,0%).

English

We introduce model editing with canonical examples, a setting in which (1) a single learning example is provided per desired behavior, (2) evaluation is performed exclusively out-of-distribution, and (3) deviation from an initial model is strictly limited. A canonical example is a simple instance of good behavior, e.g., The capital of Mauritius is Port Louis) or bad behavior, e.g., An aspect of researchers is coldhearted). The evaluation set contains more complex examples of each behavior (like a paragraph in which the capital of Mauritius is called for.) We create three datasets and modify three more for model editing with canonical examples, covering knowledge-intensive improvements, social bias mitigation, and syntactic edge cases. In our experiments on Pythia language models, we find that LoRA outperforms full finetuning and MEMIT. We then turn to the Backpack language model architecture because it is intended to enable targeted improvement. The Backpack defines a large bank of sense vectors--a decomposition of the different uses of each word--which are weighted and summed to form the output logits of the model. We propose sense finetuning, which selects and finetunes a few (approx 10) sense vectors for each canonical example, and find that it outperforms other finetuning methods, e.g., 4.8% improvement vs 0.3%. Finally, we improve GPT-J-6B by an inference-time ensemble with just the changes from sense finetuning of a 35x smaller Backpack, in one setting outperforming editing GPT-J itself (4.1% vs 1.0%).