Controllare Llama 2 tramite Aggiunta Attivativa Contrastiva

Steering Llama 2 via Contrastive Activation Addition

December 9, 2023

Autori: Nina Rimsky, Nick Gabrieli, Julian Schulz, Meg Tong, Evan Hubinger, Alexander Matt Turner

cs.AI

Abstract

Introduciamo il Contrastive Activation Addition (CAA), un metodo innovativo per orientare i modelli linguistici modificando le attivazioni durante i loro passaggi in avanti. Il CAA calcola "vettori di orientamento" mediando la differenza nelle attivazioni del flusso residuo tra coppie di esempi positivi e negativi di un comportamento specifico, come risposte fattuali rispetto a quelle allucinatorie. Durante l'inferenza, questi vettori di orientamento vengono aggiunti in tutte le posizioni dei token dopo il prompt dell'utente con un coefficiente positivo o negativo, consentendo un controllo preciso sul grado del comportamento mirato. Valutiamo l'efficacia del CAA su Llama 2 Chat utilizzando sia dataset di domande comportamentali a scelta multipla che task di generazione aperta. Dimostriamo che il CAA altera significativamente il comportamento del modello, supera i metodi tradizionali come il fine-tuning e il prompting few-shot e riduce minimamente le capacità. Inoltre, impiegando vari metodi di interpretazione dello spazio di attivazione, otteniamo approfondimenti più dettagliati sui meccanismi del CAA. Il CAA non solo orienta con precisione gli output del modello, ma getta anche luce su come i concetti di alto livello sono rappresentati nei Large Language Models (LLM).

English

We introduce Contrastive Activation Addition (CAA), an innovative method for steering language models by modifying activations during their forward passes. CAA computes ``steering vectors'' by averaging the difference in residual stream activations between pairs of positive and negative examples of a particular behavior such as factual versus hallucinatory responses. During inference, these steering vectors are added at all token positions after the user's prompt with either a positive or negative coefficient, allowing precise control over the degree of the targeted behavior. We evaluate CAA's effectiveness on Llama 2 Chat using both multiple-choice behavioral question datasets and open-ended generation tasks. We demonstrate that CAA significantly alters model behavior, outperforms traditional methods like finetuning and few-shot prompting, and minimally reduces capabilities. Moreover, by employing various activation space interpretation methods, we gain deeper insights into CAA's mechanisms. CAA both accurately steers model outputs and also sheds light on how high-level concepts are represented in Large Language Models (LLMs).