Interpretabilità su larga scala: identificazione dei meccanismi causali in Alpaca

Interpretability at Scale: Identifying Causal Mechanisms in Alpaca

May 15, 2023

Autori: Zhengxuan Wu, Atticus Geiger, Christopher Potts, Noah D. Goodman

cs.AI

Abstract

Ottenere spiegazioni interpretabili per l'uomo di modelli linguistici di grandi dimensioni e ad ampio scopo è un obiettivo urgente per la sicurezza dell'IA. Tuttavia, è altrettanto importante che i nostri metodi di interpretabilità siano fedeli alle dinamiche causali sottostanti il comportamento del modello e siano in grado di generalizzare in modo robusto a input non visti. La Ricerca di Allineamento Distribuito (Distributed Alignment Search, DAS) è un potente metodo di discesa del gradiente basato su una teoria di astrazione causale che ha scoperto allineamenti perfetti tra algoritmi simbolici interpretabili e piccoli modelli di deep learning ottimizzati per compiti specifici. Nel presente articolo, scaliamo significativamente la DAS sostituendo i rimanenti passaggi di ricerca a forza bruta con parametri appresi — un approccio che chiamiamo DAS. Ciò ci consente di cercare in modo efficiente una struttura causale interpretabile in grandi modelli linguistici mentre seguono istruzioni. Applichiamo la DAS al modello Alpaca (7 miliardi di parametri), che, senza ulteriori modifiche, risolve un semplice problema di ragionamento numerico. Con la DAS, scopriamo che Alpaca lo fa implementando un modello causale con due variabili booleane interpretabili. Inoltre, troviamo che l'allineamento delle rappresentazioni neurali con queste variabili è robusto ai cambiamenti negli input e nelle istruzioni. Questi risultati segnano un primo passo verso una comprensione profonda del funzionamento interno dei nostri modelli linguistici più grandi e più ampiamente utilizzati.

English

Obtaining human-interpretable explanations of large, general-purpose language models is an urgent goal for AI safety. However, it is just as important that our interpretability methods are faithful to the causal dynamics underlying model behavior and able to robustly generalize to unseen inputs. Distributed Alignment Search (DAS) is a powerful gradient descent method grounded in a theory of causal abstraction that uncovered perfect alignments between interpretable symbolic algorithms and small deep learning models fine-tuned for specific tasks. In the present paper, we scale DAS significantly by replacing the remaining brute-force search steps with learned parameters -- an approach we call DAS. This enables us to efficiently search for interpretable causal structure in large language models while they follow instructions. We apply DAS to the Alpaca model (7B parameters), which, off the shelf, solves a simple numerical reasoning problem. With DAS, we discover that Alpaca does this by implementing a causal model with two interpretable boolean variables. Furthermore, we find that the alignment of neural representations with these variables is robust to changes in inputs and instructions. These findings mark a first step toward deeply understanding the inner-workings of our largest and most widely deployed language models.