Steuerung von Llama 2 durch kontrastive Aktivierungsaddition

Steering Llama 2 via Contrastive Activation Addition

December 9, 2023

Autoren: Nina Rimsky, Nick Gabrieli, Julian Schulz, Meg Tong, Evan Hubinger, Alexander Matt Turner

cs.AI

Zusammenfassung

Wir stellen Contrastive Activation Addition (CAA) vor, eine innovative Methode zur Steuerung von Sprachmodellen durch die Modifikation von Aktivierungen während ihrer Vorwärtsdurchläufe. CAA berechnet „Steuerungsvektoren“, indem der Unterschied in den Aktivierungen des Residualstroms zwischen Paaren von positiven und negativen Beispielen eines bestimmten Verhaltens, wie beispielsweise faktischen versus halluzinatorischen Antworten, gemittelt wird. Während der Inferenz werden diese Steuerungsvektoren an allen Token-Positionen nach dem Benutzerprompt mit entweder einem positiven oder negativen Koeffizienten addiert, wodurch eine präzise Kontrolle über das Ausmaß des angestrebten Verhaltens ermöglicht wird. Wir evaluieren die Wirksamkeit von CAA anhand von Llama 2 Chat unter Verwendung sowohl von Multiple-Choice-Verhaltensfrage-Datensätzen als auch von offenen Generierungsaufgaben. Wir zeigen, dass CAA das Modellverhalten signifikant verändert, traditionelle Methoden wie Finetuning und Few-Shot-Prompting übertrifft und die Fähigkeiten des Modells nur minimal reduziert. Darüber hinaus gewinnen wir durch den Einsatz verschiedener Methoden zur Interpretation des Aktivierungsraums tiefere Einblicke in die Mechanismen von CAA. CAA steuert nicht nur die Modellausgaben präzise, sondern gibt auch Aufschluss darüber, wie hochrangige Konzepte in Large Language Models (LLMs) repräsentiert werden.

English

We introduce Contrastive Activation Addition (CAA), an innovative method for steering language models by modifying activations during their forward passes. CAA computes ``steering vectors'' by averaging the difference in residual stream activations between pairs of positive and negative examples of a particular behavior such as factual versus hallucinatory responses. During inference, these steering vectors are added at all token positions after the user's prompt with either a positive or negative coefficient, allowing precise control over the degree of the targeted behavior. We evaluate CAA's effectiveness on Llama 2 Chat using both multiple-choice behavioral question datasets and open-ended generation tasks. We demonstrate that CAA significantly alters model behavior, outperforms traditional methods like finetuning and few-shot prompting, and minimally reduces capabilities. Moreover, by employing various activation space interpretation methods, we gain deeper insights into CAA's mechanisms. CAA both accurately steers model outputs and also sheds light on how high-level concepts are represented in Large Language Models (LLMs).