Erklärung von Black-Box-Textmodulen in natürlicher Sprache mit Sprachmodellen

Explaining black box text modules in natural language with language models

May 17, 2023

Autoren: Chandan Singh, Aliyah R. Hsu, Richard Antonello, Shailee Jain, Alexander G. Huth, Bin Yu, Jianfeng Gao

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben eine bemerkenswerte Vorhersageleistung für eine wachsende Anzahl von Aufgaben gezeigt. Ihre rasche Verbreitung und zunehmende Undurchsichtigkeit haben jedoch einen wachsenden Bedarf an Interpretierbarkeit geschaffen. Hier stellen wir die Frage, ob wir automatisch natürliche Spracherklärungen für Black-Box-Textmodule erhalten können. Ein "Textmodul" ist jede Funktion, die Text auf einen skalaren kontinuierlichen Wert abbildet, wie beispielsweise ein Untermodul innerhalb eines LLM oder ein angepasstes Modell einer Gehirnregion. "Black-Box" bedeutet, dass wir nur Zugang zu den Ein- und Ausgaben des Moduls haben. Wir stellen Summarize and Score (SASC) vor, eine Methode, die ein Textmodul aufnimmt und eine natürliche Spracherklärung der Selektivität des Moduls sowie eine Bewertung für die Zuverlässigkeit der Erklärung zurückgibt. Wir untersuchen SASC in drei Kontexten. Zunächst bewerten wir SASC an synthetischen Modulen und stellen fest, dass es oft die tatsächlichen Erklärungen wiederherstellt. Zweitens verwenden wir SASC, um Module innerhalb eines vortrainierten BERT-Modells zu erklären, was die Inspektion der internen Struktur des Modells ermöglicht. Schließlich zeigen wir, dass SASC Erklärungen für die Reaktion einzelner fMRI-Voxel auf Sprachreize generieren kann, mit potenziellen Anwendungen in der feinmaschigen Gehirnkartierung. Der gesamte Code zur Verwendung von SASC und zur Reproduktion der Ergebnisse ist auf Github verfügbar.

English

Large language models (LLMs) have demonstrated remarkable prediction performance for a growing array of tasks. However, their rapid proliferation and increasing opaqueness have created a growing need for interpretability. Here, we ask whether we can automatically obtain natural language explanations for black box text modules. A "text module" is any function that maps text to a scalar continuous value, such as a submodule within an LLM or a fitted model of a brain region. "Black box" indicates that we only have access to the module's inputs/outputs. We introduce Summarize and Score (SASC), a method that takes in a text module and returns a natural language explanation of the module's selectivity along with a score for how reliable the explanation is. We study SASC in 3 contexts. First, we evaluate SASC on synthetic modules and find that it often recovers ground truth explanations. Second, we use SASC to explain modules found within a pre-trained BERT model, enabling inspection of the model's internals. Finally, we show that SASC can generate explanations for the response of individual fMRI voxels to language stimuli, with potential applications to fine-grained brain mapping. All code for using SASC and reproducing results is made available on Github.