Spiegare i moduli di testo black box in linguaggio naturale con modelli linguistici

Explaining black box text modules in natural language with language models

May 17, 2023

Autori: Chandan Singh, Aliyah R. Hsu, Richard Antonello, Shailee Jain, Alexander G. Huth, Bin Yu, Jianfeng Gao

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) hanno dimostrato prestazioni predittive notevoli per un numero crescente di compiti. Tuttavia, la loro rapida proliferazione e l'aumentata opacità hanno creato un crescente bisogno di interpretabilità. In questo contesto, ci chiediamo se sia possibile ottenere automaticamente spiegazioni in linguaggio naturale per moduli di testo "black box". Un "modulo di testo" è qualsiasi funzione che mappa un testo a un valore scalare continuo, come un sottomodulo all'interno di un LLM o un modello adattato di una regione cerebrale. "Black box" indica che abbiamo accesso solo agli input/output del modulo. Introduciamo Summarize and Score (SASC), un metodo che prende in input un modulo di testo e restituisce una spiegazione in linguaggio naturale della selettività del modulo, insieme a un punteggio che indica l'affidabilità della spiegazione. Studiamo SASC in tre contesti. In primo luogo, valutiamo SASC su moduli sintetici e scopriamo che spesso recupera spiegazioni di verità di base. In secondo luogo, utilizziamo SASC per spiegare i moduli presenti all'interno di un modello BERT pre-addestrato, consentendo l'ispezione degli interni del modello. Infine, dimostriamo che SASC può generare spiegazioni per la risposta di singoli voxel fMRI agli stimoli linguistici, con potenziali applicazioni nella mappatura cerebrale ad alta risoluzione. Tutto il codice per utilizzare SASC e riprodurre i risultati è reso disponibile su Github.

English

Large language models (LLMs) have demonstrated remarkable prediction performance for a growing array of tasks. However, their rapid proliferation and increasing opaqueness have created a growing need for interpretability. Here, we ask whether we can automatically obtain natural language explanations for black box text modules. A "text module" is any function that maps text to a scalar continuous value, such as a submodule within an LLM or a fitted model of a brain region. "Black box" indicates that we only have access to the module's inputs/outputs. We introduce Summarize and Score (SASC), a method that takes in a text module and returns a natural language explanation of the module's selectivity along with a score for how reliable the explanation is. We study SASC in 3 contexts. First, we evaluate SASC on synthetic modules and find that it often recovers ground truth explanations. Second, we use SASC to explain modules found within a pre-trained BERT model, enabling inspection of the model's internals. Finally, we show that SASC can generate explanations for the response of individual fMRI voxels to language stimuli, with potential applications to fine-grained brain mapping. All code for using SASC and reproducing results is made available on Github.