TextGenSHAP: Skalierbare Post-hoc-Erklärungen in der Textgenerierung mit langen Dokumenten

TextGenSHAP: Scalable Post-hoc Explanations in Text Generation with Long Documents

December 3, 2023

Autoren: James Enouen, Hootan Nakhost, Sayna Ebrahimi, Sercan O Arik, Yan Liu, Tomas Pfister

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben aufgrund ihrer zunehmend präzisen Antworten und kohärenten Denkfähigkeiten großes Interesse in praktischen Anwendungen geweckt. Angesichts ihrer Natur als Blackbox-Modelle, die komplexe Denkprozesse auf ihre Eingaben anwenden, ist es unvermeidlich, dass die Nachfrage nach skalierbaren und zuverlässigen Erklärungen für die von LLMs generierten Inhalte weiter wachsen wird. In den letzten zehn Jahren gab es bedeutende Entwicklungen in der Erklärbarkeit von neuronalen Netzwerkmodellen. Unter diesen haben sich post-hoc-Erklärungsmethoden, insbesondere Shapley-Werte, als effektiv für die Interpretation von Deep-Learning-Modellen erwiesen. Es gibt jedoch große Herausforderungen bei der Skalierung von Shapley-Werten für LLMs, insbesondere bei der Verarbeitung langer Eingabekontexte mit Tausenden von Tokens und autoregressiv generierten Ausgabesequenzen. Darüber hinaus ist oft unklar, wie die generierten Erklärungen effektiv genutzt werden können, um die Leistung von LLMs zu verbessern. In diesem Artikel stellen wir TextGenSHAP vor, eine effiziente post-hoc-Erklärungsmethode, die spezifische Techniken für Sprachmodelle integriert. Wir zeigen, dass dies zu erheblichen Geschwindigkeitssteigerungen im Vergleich zu herkömmlichen Shapley-Wert-Berechnungen führt, wobei die Verarbeitungszeiten für Token-Erklärungen von Stunden auf Minuten und für Dokument-Erklärungen auf Sekunden reduziert werden. Zusätzlich demonstrieren wir, wie Echtzeit-Shapley-Werte in zwei wichtigen Szenarien genutzt werden können: zur besseren Verständlichkeit von Fragenbeantwortungen in langen Dokumenten durch die Lokalisierung wichtiger Wörter und Sätze; und zur Verbesserung bestehender Dokumentenabrufsysteme durch die Erhöhung der Genauigkeit ausgewählter Passagen und letztlich der endgültigen Antworten.

English

Large language models (LLMs) have attracted huge interest in practical applications given their increasingly accurate responses and coherent reasoning abilities. Given their nature as black-boxes using complex reasoning processes on their inputs, it is inevitable that the demand for scalable and faithful explanations for LLMs' generated content will continue to grow. There have been major developments in the explainability of neural network models over the past decade. Among them, post-hoc explainability methods, especially Shapley values, have proven effective for interpreting deep learning models. However, there are major challenges in scaling up Shapley values for LLMs, particularly when dealing with long input contexts containing thousands of tokens and autoregressively generated output sequences. Furthermore, it is often unclear how to effectively utilize generated explanations to improve the performance of LLMs. In this paper, we introduce TextGenSHAP, an efficient post-hoc explanation method incorporating LM-specific techniques. We demonstrate that this leads to significant increases in speed compared to conventional Shapley value computations, reducing processing times from hours to minutes for token-level explanations, and to just seconds for document-level explanations. In addition, we demonstrate how real-time Shapley values can be utilized in two important scenarios, providing better understanding of long-document question answering by localizing important words and sentences; and improving existing document retrieval systems through enhancing the accuracy of selected passages and ultimately the final responses.