Объяснение работы "черных ящиков" текстовых модулей на естественном языке с использованием языковых моделей
Explaining black box text modules in natural language with language models
May 17, 2023
Авторы: Chandan Singh, Aliyah R. Hsu, Richard Antonello, Shailee Jain, Alexander G. Huth, Bin Yu, Jianfeng Gao
cs.AI
Аннотация
Крупные языковые модели (LLM) продемонстрировали впечатляющую производительность в прогнозировании для всё большего числа задач. Однако их быстрое распространение и растущая непрозрачность создают всё большую потребность в интерпретируемости. В данной работе мы задаёмся вопросом, можно ли автоматически получать объяснения на естественном языке для "чёрных ящиков" текстовых модулей. Под "текстовым модулем" понимается любая функция, которая преобразует текст в скалярное непрерывное значение, например, подмодуль внутри LLM или обученная модель области мозга. "Чёрный ящик" означает, что у нас есть доступ только к входам и выходам модуля.
Мы представляем метод Summarize and Score (SASC), который принимает текстовый модуль и возвращает объяснение на естественном языке, описывающее избирательность модуля, а также оценку надёжности этого объяснения. Мы исследуем SASC в трёх контекстах. Во-первых, мы оцениваем SASC на синтетических модулях и обнаруживаем, что он часто восстанавливает истинные объяснения. Во-вторых, мы используем SASC для объяснения модулей, найденных в предобученной модели BERT, что позволяет исследовать внутреннюю структуру модели. Наконец, мы показываем, что SASC может генерировать объяснения для реакции отдельных вокселей фМРТ на языковые стимулы, что открывает возможности для детального картирования мозга. Весь код для использования SASC и воспроизведения результатов доступен на Github.
English
Large language models (LLMs) have demonstrated remarkable prediction
performance for a growing array of tasks. However, their rapid proliferation
and increasing opaqueness have created a growing need for interpretability.
Here, we ask whether we can automatically obtain natural language explanations
for black box text modules. A "text module" is any function that maps text to a
scalar continuous value, such as a submodule within an LLM or a fitted model of
a brain region. "Black box" indicates that we only have access to the module's
inputs/outputs.
We introduce Summarize and Score (SASC), a method that takes in a text module
and returns a natural language explanation of the module's selectivity along
with a score for how reliable the explanation is. We study SASC in 3 contexts.
First, we evaluate SASC on synthetic modules and find that it often recovers
ground truth explanations. Second, we use SASC to explain modules found within
a pre-trained BERT model, enabling inspection of the model's internals.
Finally, we show that SASC can generate explanations for the response of
individual fMRI voxels to language stimuli, with potential applications to
fine-grained brain mapping. All code for using SASC and reproducing results is
made available on Github.