Het uitleggen van blackbox-tekstmodules in natuurlijke taal met taalmodelen

Explaining black box text modules in natural language with language models

May 17, 2023

Auteurs: Chandan Singh, Aliyah R. Hsu, Richard Antonello, Shailee Jain, Alexander G. Huth, Bin Yu, Jianfeng Gao

cs.AI

Samenvatting

Grote taalmodelen (LLMs) hebben opmerkelijke voorspellingsprestaties getoond voor een groeiend aantal taken. Hun snelle verspreiding en toenemende ondoorzichtigheid hebben echter een groeiende behoefte aan interpreteerbaarheid gecreëerd. Hier onderzoeken we of we automatisch natuurlijke taalverklaringen kunnen verkrijgen voor black box tekstmodules. Een "tekstmodule" is elke functie die tekst afbeeldt op een scalaire continue waarde, zoals een submodule binnen een LLM of een aangepast model van een hersengebied. "Black box" geeft aan dat we alleen toegang hebben tot de invoer/uitvoer van de module. We introduceren Summarize and Score (SASC), een methode die een tekstmodule als invoer neemt en een natuurlijke taalverklaring retourneert van de selectiviteit van de module, samen met een score voor de betrouwbaarheid van de verklaring. We bestuderen SASC in drie contexten. Ten eerste evalueren we SASC op synthetische modules en ontdekken dat het vaak de grondwaarheidverklaringen herstelt. Ten tweede gebruiken we SASC om modules binnen een vooraf getraind BERT-model te verklaren, waardoor inspectie van de interne werking van het model mogelijk wordt. Tot slot tonen we aan dat SASC verklaringen kan genereren voor de respons van individuele fMRI-voxels op taalprikkels, met potentiële toepassingen voor gedetailleerde hersenkartering. Alle code voor het gebruik van SASC en het reproduceren van resultaten is beschikbaar gesteld op Github.

English

Large language models (LLMs) have demonstrated remarkable prediction performance for a growing array of tasks. However, their rapid proliferation and increasing opaqueness have created a growing need for interpretability. Here, we ask whether we can automatically obtain natural language explanations for black box text modules. A "text module" is any function that maps text to a scalar continuous value, such as a submodule within an LLM or a fitted model of a brain region. "Black box" indicates that we only have access to the module's inputs/outputs. We introduce Summarize and Score (SASC), a method that takes in a text module and returns a natural language explanation of the module's selectivity along with a score for how reliable the explanation is. We study SASC in 3 contexts. First, we evaluate SASC on synthetic modules and find that it often recovers ground truth explanations. Second, we use SASC to explain modules found within a pre-trained BERT model, enabling inspection of the model's internals. Finally, we show that SASC can generate explanations for the response of individual fMRI voxels to language stimuli, with potential applications to fine-grained brain mapping. All code for using SASC and reproducing results is made available on Github.