TextGenSHAP: Schaalbare Post-hoc Verklaringen in Tekstgeneratie met Lange Documenten

TextGenSHAP: Scalable Post-hoc Explanations in Text Generation with Long Documents

December 3, 2023

Auteurs: James Enouen, Hootan Nakhost, Sayna Ebrahimi, Sercan O Arik, Yan Liu, Tomas Pfister

cs.AI

Samenvatting

Grote taalmodellen (LLMs) hebben enorme interesse gewekt voor praktische toepassingen vanwege hun steeds nauwkeurigere antwoorden en coherente redeneervaardigheden. Gezien hun aard als black-boxen die complexe redeneerprocessen toepassen op hun invoer, is het onvermijdelijk dat de vraag naar schaalbare en betrouwbare verklaringen voor de gegenereerde inhoud van LLMs zal blijven groeien. Er zijn de afgelopen decennia grote ontwikkelingen geweest op het gebied van de verklaarbaarheid van neurale netwerkmodellen. Daarbij hebben post-hoc verklaringsmethoden, met name Shapley-waarden, hun effectiviteit bewezen bij het interpreteren van deep learning-modellen. Er zijn echter grote uitdagingen bij het opschalen van Shapley-waarden voor LLMs, vooral bij het omgaan met lange invoercontexten die duizenden tokens bevatten en autoregressief gegenereerde uitvoerreeksen. Bovendien is het vaak onduidelijk hoe gegenereerde verklaringen effectief kunnen worden gebruikt om de prestaties van LLMs te verbeteren. In dit artikel introduceren we TextGenSHAP, een efficiënte post-hoc verklaringsmethode die LM-specifieke technieken integreert. We laten zien dat dit leidt tot een aanzienlijke snelheidswinst in vergelijking met conventionele Shapley-waardeberekeningen, waarbij de verwerkingstijden worden teruggebracht van uren naar minuten voor token-niveau verklaringen, en naar slechts seconden voor document-niveau verklaringen. Daarnaast demonstreren we hoe real-time Shapley-waarden kunnen worden gebruikt in twee belangrijke scenario's: het beter begrijpen van vraag-antwoordsystemen voor lange documenten door belangrijke woorden en zinnen te lokaliseren; en het verbeteren van bestaande documentretrievalsystemen door de nauwkeurigheid van geselecteerde passages en uiteindelijk de uiteindelijke antwoorden te vergroten.

English

Large language models (LLMs) have attracted huge interest in practical applications given their increasingly accurate responses and coherent reasoning abilities. Given their nature as black-boxes using complex reasoning processes on their inputs, it is inevitable that the demand for scalable and faithful explanations for LLMs' generated content will continue to grow. There have been major developments in the explainability of neural network models over the past decade. Among them, post-hoc explainability methods, especially Shapley values, have proven effective for interpreting deep learning models. However, there are major challenges in scaling up Shapley values for LLMs, particularly when dealing with long input contexts containing thousands of tokens and autoregressively generated output sequences. Furthermore, it is often unclear how to effectively utilize generated explanations to improve the performance of LLMs. In this paper, we introduce TextGenSHAP, an efficient post-hoc explanation method incorporating LM-specific techniques. We demonstrate that this leads to significant increases in speed compared to conventional Shapley value computations, reducing processing times from hours to minutes for token-level explanations, and to just seconds for document-level explanations. In addition, we demonstrate how real-time Shapley values can be utilized in two important scenarios, providing better understanding of long-document question answering by localizing important words and sentences; and improving existing document retrieval systems through enhancing the accuracy of selected passages and ultimately the final responses.