TextGenSHAP: Spiegazioni Post-hoc Scalabili nella Generazione di Testo con Documenti Lunghi

TextGenSHAP: Scalable Post-hoc Explanations in Text Generation with Long Documents

December 3, 2023

Autori: James Enouen, Hootan Nakhost, Sayna Ebrahimi, Sercan O Arik, Yan Liu, Tomas Pfister

cs.AI

Abstract

I grandi modelli linguistici (LLM) hanno attirato un enorme interesse per applicazioni pratiche, grazie alle loro risposte sempre più accurate e alle capacità di ragionamento coerente. Data la loro natura di scatole nere che utilizzano processi di ragionamento complessi sugli input, è inevitabile che la richiesta di spiegazioni scalabili e fedeli per i contenuti generati dagli LLM continui a crescere. Negli ultimi dieci anni ci sono stati importanti sviluppi nell'interpretabilità dei modelli di rete neurale. Tra questi, i metodi di spiegabilità post-hoc, in particolare i valori di Shapley, si sono dimostrati efficaci per interpretare i modelli di deep learning. Tuttavia, ci sono sfide significative nel ridimensionare i valori di Shapley per gli LLM, specialmente quando si ha a che fare con contesti di input lunghi contenenti migliaia di token e sequenze di output generate in modo autoregressivo. Inoltre, spesso non è chiaro come utilizzare efficacemente le spiegazioni generate per migliorare le prestazioni degli LLM. In questo articolo, introduciamo TextGenSHAP, un metodo di spiegazione post-hoc efficiente che incorpora tecniche specifiche per i modelli linguistici. Dimostriamo che ciò porta a un aumento significativo della velocità rispetto ai calcoli convenzionali dei valori di Shapley, riducendo i tempi di elaborazione da ore a minuti per le spiegazioni a livello di token e a pochi secondi per le spiegazioni a livello di documento. Inoltre, dimostriamo come i valori di Shapley in tempo reale possano essere utilizzati in due scenari importanti: fornendo una migliore comprensione delle risposte a domande su documenti lunghi localizzando parole e frasi importanti; e migliorando i sistemi esistenti di recupero di documenti attraverso l'aumento dell'accuratezza dei passaggi selezionati e, in definitiva, delle risposte finali.

English

Large language models (LLMs) have attracted huge interest in practical applications given their increasingly accurate responses and coherent reasoning abilities. Given their nature as black-boxes using complex reasoning processes on their inputs, it is inevitable that the demand for scalable and faithful explanations for LLMs' generated content will continue to grow. There have been major developments in the explainability of neural network models over the past decade. Among them, post-hoc explainability methods, especially Shapley values, have proven effective for interpreting deep learning models. However, there are major challenges in scaling up Shapley values for LLMs, particularly when dealing with long input contexts containing thousands of tokens and autoregressively generated output sequences. Furthermore, it is often unclear how to effectively utilize generated explanations to improve the performance of LLMs. In this paper, we introduce TextGenSHAP, an efficient post-hoc explanation method incorporating LM-specific techniques. We demonstrate that this leads to significant increases in speed compared to conventional Shapley value computations, reducing processing times from hours to minutes for token-level explanations, and to just seconds for document-level explanations. In addition, we demonstrate how real-time Shapley values can be utilized in two important scenarios, providing better understanding of long-document question answering by localizing important words and sentences; and improving existing document retrieval systems through enhancing the accuracy of selected passages and ultimately the final responses.