Direcionando o Llama 2 por meio de Adição de Ativação Contrastiva

Steering Llama 2 via Contrastive Activation Addition

December 9, 2023

Autores: Nina Rimsky, Nick Gabrieli, Julian Schulz, Meg Tong, Evan Hubinger, Alexander Matt Turner

cs.AI

Resumo

Apresentamos o Método de Adição de Ativação Contrastiva (CAA, na sigla em inglês), uma abordagem inovadora para direcionar modelos de linguagem por meio da modificação de ativações durante seus passes de propagação. O CAA calcula "vetores de direcionamento" ao calcular a média da diferença nas ativações do fluxo residual entre pares de exemplos positivos e negativos de um comportamento específico, como respostas factuais versus alucinatórias. Durante a inferência, esses vetores de direcionamento são adicionados em todas as posições de token após o prompt do usuário com um coeficiente positivo ou negativo, permitindo um controle preciso sobre o grau do comportamento desejado. Avaliamos a eficácia do CAA no modelo Llama 2 Chat utilizando tanto conjuntos de dados de questões comportamentais de múltipla escolha quanto tarefas de geração de texto aberto. Demonstramos que o CAA altera significativamente o comportamento do modelo, supera métodos tradicionais como ajuste fino (finetuning) e prompts de poucos exemplos (few-shot), e reduz minimamente as capacidades do modelo. Além disso, ao empregar diversos métodos de interpretação do espaço de ativações, obtemos insights mais profundos sobre os mecanismos do CAA. O CAA não apenas direciona com precisão as saídas do modelo, mas também esclarece como conceitos de alto nível são representados em Modelos de Linguagem de Grande Escala (LLMs).

English

We introduce Contrastive Activation Addition (CAA), an innovative method for steering language models by modifying activations during their forward passes. CAA computes ``steering vectors'' by averaging the difference in residual stream activations between pairs of positive and negative examples of a particular behavior such as factual versus hallucinatory responses. During inference, these steering vectors are added at all token positions after the user's prompt with either a positive or negative coefficient, allowing precise control over the degree of the targeted behavior. We evaluate CAA's effectiveness on Llama 2 Chat using both multiple-choice behavioral question datasets and open-ended generation tasks. We demonstrate that CAA significantly alters model behavior, outperforms traditional methods like finetuning and few-shot prompting, and minimally reduces capabilities. Moreover, by employing various activation space interpretation methods, we gain deeper insights into CAA's mechanisms. CAA both accurately steers model outputs and also sheds light on how high-level concepts are represented in Large Language Models (LLMs).