Interpretabilidade em Escala: Identificando Mecanismos Causais no Alpaca

Interpretability at Scale: Identifying Causal Mechanisms in Alpaca

May 15, 2023

Autores: Zhengxuan Wu, Atticus Geiger, Christopher Potts, Noah D. Goodman

cs.AI

Resumo

Obter explicações interpretáveis por humanos de modelos de linguagem grandes e de propósito geral é um objetivo urgente para a segurança da IA. No entanto, é igualmente importante que nossos métodos de interpretabilidade sejam fiéis às dinâmicas causais subjacentes ao comportamento do modelo e capazes de generalizar de forma robusta para entradas não vistas. O Distributed Alignment Search (DAS) é um poderoso método de descida de gradiente fundamentado em uma teoria de abstração causal que revelou alinhamentos perfeitos entre algoritmos simbólicos interpretáveis e pequenos modelos de aprendizado profundo ajustados para tarefas específicas. No presente artigo, escalamos significativamente o DAS substituindo as etapas restantes de busca por força bruta por parâmetros aprendidos — uma abordagem que chamamos de DAS. Isso nos permite buscar eficientemente por estrutura causal interpretável em grandes modelos de linguagem enquanto eles seguem instruções. Aplicamos o DAS ao modelo Alpaca (7 bilhões de parâmetros), que, de imediato, resolve um problema simples de raciocínio numérico. Com o DAS, descobrimos que o Alpaca faz isso implementando um modelo causal com duas variáveis booleanas interpretáveis. Além disso, descobrimos que o alinhamento das representações neurais com essas variáveis é robusto a mudanças nas entradas e nas instruções. Essas descobertas marcam um primeiro passo em direção a um entendimento profundo do funcionamento interno de nossos maiores e mais amplamente implantados modelos de linguagem.

English

Obtaining human-interpretable explanations of large, general-purpose language models is an urgent goal for AI safety. However, it is just as important that our interpretability methods are faithful to the causal dynamics underlying model behavior and able to robustly generalize to unseen inputs. Distributed Alignment Search (DAS) is a powerful gradient descent method grounded in a theory of causal abstraction that uncovered perfect alignments between interpretable symbolic algorithms and small deep learning models fine-tuned for specific tasks. In the present paper, we scale DAS significantly by replacing the remaining brute-force search steps with learned parameters -- an approach we call DAS. This enables us to efficiently search for interpretable causal structure in large language models while they follow instructions. We apply DAS to the Alpaca model (7B parameters), which, off the shelf, solves a simple numerical reasoning problem. With DAS, we discover that Alpaca does this by implementing a causal model with two interpretable boolean variables. Furthermore, we find that the alignment of neural representations with these variables is robust to changes in inputs and instructions. These findings mark a first step toward deeply understanding the inner-workings of our largest and most widely deployed language models.