Interpretabilidad a Escala: Identificación de Mecanismos Causales en Alpaca

Interpretability at Scale: Identifying Causal Mechanisms in Alpaca

May 15, 2023

Autores: Zhengxuan Wu, Atticus Geiger, Christopher Potts, Noah D. Goodman

cs.AI

Resumen

Obtener explicaciones interpretables por humanos de los modelos lingüísticos grandes y de propósito general es un objetivo urgente para la seguridad de la IA. Sin embargo, es igualmente importante que nuestros métodos de interpretabilidad sean fieles a la dinámica causal subyacente al comportamiento del modelo y capaces de generalizarse de manera robusta a entradas no vistas. La Búsqueda de Alineación Distribuida (DAS, por sus siglas en inglés) es un potente método de descenso de gradiente basado en una teoría de abstracción causal que descubrió alineaciones perfectas entre algoritmos simbólicos interpretables y pequeños modelos de aprendizaje profundo ajustados para tareas específicas. En este artículo, escalamos significativamente DAS reemplazando los pasos restantes de búsqueda por fuerza bruta con parámetros aprendidos, un enfoque que denominamos DAS. Esto nos permite buscar eficientemente estructuras causales interpretables en modelos lingüísticos grandes mientras siguen instrucciones. Aplicamos DAS al modelo Alpaca (7 mil millones de parámetros), que, sin modificaciones, resuelve un problema simple de razonamiento numérico. Con DAS, descubrimos que Alpaca lo hace implementando un modelo causal con dos variables booleanas interpretables. Además, encontramos que la alineación de las representaciones neuronales con estas variables es robusta a cambios en las entradas y las instrucciones. Estos hallazgos marcan un primer paso hacia la comprensión profunda del funcionamiento interno de nuestros modelos lingüísticos más grandes y ampliamente implementados.

English

Obtaining human-interpretable explanations of large, general-purpose language models is an urgent goal for AI safety. However, it is just as important that our interpretability methods are faithful to the causal dynamics underlying model behavior and able to robustly generalize to unseen inputs. Distributed Alignment Search (DAS) is a powerful gradient descent method grounded in a theory of causal abstraction that uncovered perfect alignments between interpretable symbolic algorithms and small deep learning models fine-tuned for specific tasks. In the present paper, we scale DAS significantly by replacing the remaining brute-force search steps with learned parameters -- an approach we call DAS. This enables us to efficiently search for interpretable causal structure in large language models while they follow instructions. We apply DAS to the Alpaca model (7B parameters), which, off the shelf, solves a simple numerical reasoning problem. With DAS, we discover that Alpaca does this by implementing a causal model with two interpretable boolean variables. Furthermore, we find that the alignment of neural representations with these variables is robust to changes in inputs and instructions. These findings mark a first step toward deeply understanding the inner-workings of our largest and most widely deployed language models.