Интерпретируемость в масштабе: выявление причинно-следственных механизмов в модели Alpaca

Interpretability at Scale: Identifying Causal Mechanisms in Alpaca

May 15, 2023

Авторы: Zhengxuan Wu, Atticus Geiger, Christopher Potts, Noah D. Goodman

cs.AI

Аннотация

Получение интерпретируемых человеком объяснений работы крупных универсальных языковых моделей является важной задачей для обеспечения безопасности ИИ. Однако не менее важно, чтобы наши методы интерпретации точно отражали причинно-следственные динамики, лежащие в основе поведения моделей, и могли устойчиво обобщаться на новые входные данные. Метод распределенного поиска соответствий (Distributed Alignment Search, DAS) — это мощный метод градиентного спуска, основанный на теории причинной абстракции, который позволил выявить точные соответствия между интерпретируемыми символическими алгоритмами и небольшими моделями глубокого обучения, дообученными для конкретных задач. В данной статье мы значительно масштабируем DAS, заменяя оставшиеся шаги полного перебора на обучаемые параметры — подход, который мы называем DAS. Это позволяет нам эффективно искать интерпретируемую причинную структуру в крупных языковых моделях, когда они выполняют инструкции. Мы применяем DAS к модели Alpaca (7 млрд параметров), которая "из коробки" решает простую задачу численного рассуждения. С помощью DAS мы обнаруживаем, что Alpaca делает это, реализуя причинную модель с двумя интерпретируемыми булевыми переменными. Более того, мы выясняем, что соответствие нейронных представлений этим переменным устойчиво к изменениям входных данных и инструкций. Эти результаты представляют собой первый шаг к глубокому пониманию внутренней работы наших крупнейших и наиболее широко используемых языковых моделей.

English

Obtaining human-interpretable explanations of large, general-purpose language models is an urgent goal for AI safety. However, it is just as important that our interpretability methods are faithful to the causal dynamics underlying model behavior and able to robustly generalize to unseen inputs. Distributed Alignment Search (DAS) is a powerful gradient descent method grounded in a theory of causal abstraction that uncovered perfect alignments between interpretable symbolic algorithms and small deep learning models fine-tuned for specific tasks. In the present paper, we scale DAS significantly by replacing the remaining brute-force search steps with learned parameters -- an approach we call DAS. This enables us to efficiently search for interpretable causal structure in large language models while they follow instructions. We apply DAS to the Alpaca model (7B parameters), which, off the shelf, solves a simple numerical reasoning problem. With DAS, we discover that Alpaca does this by implementing a causal model with two interpretable boolean variables. Furthermore, we find that the alignment of neural representations with these variables is robust to changes in inputs and instructions. These findings mark a first step toward deeply understanding the inner-workings of our largest and most widely deployed language models.