TextGenSHAP : Explications post-hoc évolutives pour la génération de texte avec des documents longs

TextGenSHAP: Scalable Post-hoc Explanations in Text Generation with Long Documents

December 3, 2023

Auteurs: James Enouen, Hootan Nakhost, Sayna Ebrahimi, Sercan O Arik, Yan Liu, Tomas Pfister

cs.AI

Résumé

Les grands modèles de langage (LLMs) ont suscité un intérêt considérable pour des applications pratiques, grâce à leurs réponses de plus en plus précises et à leurs capacités de raisonnement cohérent. Étant donné leur nature de boîtes noires utilisant des processus de raisonnement complexes sur leurs entrées, il est inévitable que la demande pour des explications évolutives et fidèles concernant le contenu généré par les LLMs continue de croître. Au cours de la dernière décennie, des avancées majeures ont été réalisées dans l'explicabilité des modèles de réseaux neuronaux. Parmi elles, les méthodes d'explicabilité post-hoc, en particulier les valeurs de Shapley, se sont avérées efficaces pour interpréter les modèles d'apprentissage profond. Cependant, il existe des défis majeurs pour adapter les valeurs de Shapley aux LLMs, notamment lorsqu'il s'agit de traiter des contextes d'entrée longs contenant des milliers de tokens et des séquences de sortie générées de manière autoregressive. De plus, il est souvent difficile de savoir comment utiliser efficacement les explications générées pour améliorer les performances des LLMs. Dans cet article, nous présentons TextGenSHAP, une méthode d'explication post-hoc efficace intégrant des techniques spécifiques aux modèles de langage. Nous démontrons que cela entraîne des augmentations significatives de la vitesse par rapport aux calculs conventionnels des valeurs de Shapley, réduisant les temps de traitement de plusieurs heures à quelques minutes pour les explications au niveau des tokens, et à quelques secondes pour les explications au niveau des documents. En outre, nous montrons comment les valeurs de Shapley en temps réel peuvent être utilisées dans deux scénarios importants : une meilleure compréhension des réponses aux questions sur des documents longs en localisant les mots et phrases importants ; et l'amélioration des systèmes existants de recherche de documents en augmentant la précision des passages sélectionnés et, finalement, des réponses finales.

English

Large language models (LLMs) have attracted huge interest in practical applications given their increasingly accurate responses and coherent reasoning abilities. Given their nature as black-boxes using complex reasoning processes on their inputs, it is inevitable that the demand for scalable and faithful explanations for LLMs' generated content will continue to grow. There have been major developments in the explainability of neural network models over the past decade. Among them, post-hoc explainability methods, especially Shapley values, have proven effective for interpreting deep learning models. However, there are major challenges in scaling up Shapley values for LLMs, particularly when dealing with long input contexts containing thousands of tokens and autoregressively generated output sequences. Furthermore, it is often unclear how to effectively utilize generated explanations to improve the performance of LLMs. In this paper, we introduce TextGenSHAP, an efficient post-hoc explanation method incorporating LM-specific techniques. We demonstrate that this leads to significant increases in speed compared to conventional Shapley value computations, reducing processing times from hours to minutes for token-level explanations, and to just seconds for document-level explanations. In addition, we demonstrate how real-time Shapley values can be utilized in two important scenarios, providing better understanding of long-document question answering by localizing important words and sentences; and improving existing document retrieval systems through enhancing the accuracy of selected passages and ultimately the final responses.