TextGenSHAP: Explicações Pós-hoc Escaláveis em Geração de Texto com Documentos Longos

TextGenSHAP: Scalable Post-hoc Explanations in Text Generation with Long Documents

December 3, 2023

Autores: James Enouen, Hootan Nakhost, Sayna Ebrahimi, Sercan O Arik, Yan Liu, Tomas Pfister

cs.AI

Resumo

Os modelos de linguagem de grande escala (LLMs) têm atraído enorme interesse em aplicações práticas devido às suas respostas cada vez mais precisas e habilidades de raciocínio coerente. Dada a sua natureza como caixas-pretas que utilizam processos complexos de raciocínio sobre suas entradas, é inevitável que a demanda por explicações escaláveis e fiáveis para o conteúdo gerado por LLMs continue a crescer. Houve grandes avanços na explicabilidade de modelos de redes neurais na última década. Entre eles, métodos de explicabilidade pós-hoc, especialmente os valores de Shapley, provaram ser eficazes para interpretar modelos de aprendizado profundo. No entanto, existem grandes desafios em escalar os valores de Shapley para LLMs, particularmente ao lidar com contextos de entrada longos contendo milhares de tokens e sequências de saída geradas autoregressivamente. Além disso, muitas vezes não está claro como utilizar efetivamente as explicações geradas para melhorar o desempenho dos LLMs. Neste artigo, apresentamos o TextGenSHAP, um método eficiente de explicação pós-hoc que incorpora técnicas específicas para modelos de linguagem. Demonstramos que isso leva a aumentos significativos na velocidade em comparação com os cálculos convencionais de valores de Shapley, reduzindo os tempos de processamento de horas para minutos em explicações no nível de token, e para apenas segundos em explicações no nível de documento. Além disso, demonstramos como os valores de Shapley em tempo real podem ser utilizados em dois cenários importantes: proporcionando uma melhor compreensão da resposta a perguntas em documentos longos ao localizar palavras e frases importantes; e melhorando os sistemas existentes de recuperação de documentos ao aumentar a precisão das passagens selecionadas e, consequentemente, das respostas finais.

English

Large language models (LLMs) have attracted huge interest in practical applications given their increasingly accurate responses and coherent reasoning abilities. Given their nature as black-boxes using complex reasoning processes on their inputs, it is inevitable that the demand for scalable and faithful explanations for LLMs' generated content will continue to grow. There have been major developments in the explainability of neural network models over the past decade. Among them, post-hoc explainability methods, especially Shapley values, have proven effective for interpreting deep learning models. However, there are major challenges in scaling up Shapley values for LLMs, particularly when dealing with long input contexts containing thousands of tokens and autoregressively generated output sequences. Furthermore, it is often unclear how to effectively utilize generated explanations to improve the performance of LLMs. In this paper, we introduce TextGenSHAP, an efficient post-hoc explanation method incorporating LM-specific techniques. We demonstrate that this leads to significant increases in speed compared to conventional Shapley value computations, reducing processing times from hours to minutes for token-level explanations, and to just seconds for document-level explanations. In addition, we demonstrate how real-time Shapley values can be utilized in two important scenarios, providing better understanding of long-document question answering by localizing important words and sentences; and improving existing document retrieval systems through enhancing the accuracy of selected passages and ultimately the final responses.