Dirigiendo Llama 2 mediante la Adición de Activación Contrastiva

Steering Llama 2 via Contrastive Activation Addition

December 9, 2023

Autores: Nina Rimsky, Nick Gabrieli, Julian Schulz, Meg Tong, Evan Hubinger, Alexander Matt Turner

cs.AI

Resumen

Presentamos la Adición de Activación Contrastiva (CAA, por sus siglas en inglés), un método innovador para dirigir modelos de lenguaje mediante la modificación de activaciones durante sus pasos hacia adelante. CAA calcula "vectores de dirección" promediando la diferencia en las activaciones del flujo residual entre pares de ejemplos positivos y negativos de un comportamiento particular, como respuestas factuales versus alucinatorias. Durante la inferencia, estos vectores de dirección se suman en todas las posiciones de tokens posteriores al prompt del usuario con un coeficiente positivo o negativo, permitiendo un control preciso sobre el grado del comportamiento objetivo. Evaluamos la efectividad de CAA en Llama 2 Chat utilizando tanto conjuntos de datos de preguntas de comportamiento de opción múltiple como tareas de generación abierta. Demostramos que CAA altera significativamente el comportamiento del modelo, supera métodos tradicionales como el ajuste fino y el prompting de pocos ejemplos, y reduce mínimamente las capacidades. Además, al emplear diversos métodos de interpretación del espacio de activaciones, obtenemos una comprensión más profunda de los mecanismos de CAA. CAA no solo dirige con precisión las salidas del modelo, sino que también arroja luz sobre cómo se representan los conceptos de alto nivel en los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés).

English

We introduce Contrastive Activation Addition (CAA), an innovative method for steering language models by modifying activations during their forward passes. CAA computes ``steering vectors'' by averaging the difference in residual stream activations between pairs of positive and negative examples of a particular behavior such as factual versus hallucinatory responses. During inference, these steering vectors are added at all token positions after the user's prompt with either a positive or negative coefficient, allowing precise control over the degree of the targeted behavior. We evaluate CAA's effectiveness on Llama 2 Chat using both multiple-choice behavioral question datasets and open-ended generation tasks. We demonstrate that CAA significantly alters model behavior, outperforms traditional methods like finetuning and few-shot prompting, and minimally reduces capabilities. Moreover, by employing various activation space interpretation methods, we gain deeper insights into CAA's mechanisms. CAA both accurately steers model outputs and also sheds light on how high-level concepts are represented in Large Language Models (LLMs).