Modellbearbeitung mit kanonischen Beispielen

Zusammenfassung

Wir stellen das Modell-Editing mit kanonischen Beispielen vor, ein Setting, in dem (1) ein einzelnes Lernbeispiel für jedes gewünschte Verhalten bereitgestellt wird, (2) die Evaluation ausschließlich außerhalb der Verteilung durchgeführt wird und (3) die Abweichung von einem initialen Modell streng begrenzt ist. Ein kanonisches Beispiel ist eine einfache Instanz eines guten Verhaltens (z. B. „Die Hauptstadt von Mauritius ist Port Louis“) oder eines schlechten Verhaltens (z. B. „Ein Aspekt von Forschern ist herzlos“). Der Evaluationssatz enthält komplexere Beispiele für jedes Verhalten (wie einen Absatz, in dem die Hauptstadt von Mauritius genannt wird). Wir erstellen drei Datensätze und modifizieren drei weitere für das Modell-Editing mit kanonischen Beispielen, die wissensintensive Verbesserungen, die Minderung sozialer Verzerrungen und syntaktische Grenzfälle abdecken. In unseren Experimenten mit Pythia-Sprachmodellen stellen wir fest, dass LoRA das vollständige Fine-Tuning und MEMIT übertrifft. Anschließend wenden wir uns der Backpack-Sprachmodellarchitektur zu, da sie gezielte Verbesserungen ermöglichen soll. Der Backpack definiert eine große Bank von Sinnvektoren – eine Zerlegung der verschiedenen Verwendungen jedes Wortes –, die gewichtet und summiert werden, um die Ausgabe-Logits des Modells zu bilden. Wir schlagen das Sinn-Fine-Tuning vor, das einige (ca. 10) Sinnvektoren für jedes kanonische Beispiel auswählt und feinabstimmt, und stellen fest, dass es andere Fine-Tuning-Methoden übertrifft (z. B. 4,8 % Verbesserung gegenüber 0,3 %). Schließlich verbessern wir GPT-J-6B durch ein Inferenzzeit-Ensemble mit nur den Änderungen aus dem Sinn-Fine-Tuning eines 35-mal kleineren Backpacks und übertreffen in einem Setting sogar das Editing von GPT-J selbst (4,1 % gegenüber 1,0 %).

English

We introduce model editing with canonical examples, a setting in which (1) a single learning example is provided per desired behavior, (2) evaluation is performed exclusively out-of-distribution, and (3) deviation from an initial model is strictly limited. A canonical example is a simple instance of good behavior, e.g., The capital of Mauritius is Port Louis) or bad behavior, e.g., An aspect of researchers is coldhearted). The evaluation set contains more complex examples of each behavior (like a paragraph in which the capital of Mauritius is called for.) We create three datasets and modify three more for model editing with canonical examples, covering knowledge-intensive improvements, social bias mitigation, and syntactic edge cases. In our experiments on Pythia language models, we find that LoRA outperforms full finetuning and MEMIT. We then turn to the Backpack language model architecture because it is intended to enable targeted improvement. The Backpack defines a large bank of sense vectors--a decomposition of the different uses of each word--which are weighted and summed to form the output logits of the model. We propose sense finetuning, which selects and finetunes a few (approx 10) sense vectors for each canonical example, and find that it outperforms other finetuning methods, e.g., 4.8% improvement vs 0.3%. Finally, we improve GPT-J-6B by an inference-time ensemble with just the changes from sense finetuning of a 35x smaller Backpack, in one setting outperforming editing GPT-J itself (4.1% vs 1.0%).

Modellbearbeitung mit kanonischen Beispielen

Model Editing with Canonical Examples

Zusammenfassung

Support