TextGenSHAP: Explicaciones post-hoc escalables en generación de texto con documentos extensos

TextGenSHAP: Scalable Post-hoc Explanations in Text Generation with Long Documents

December 3, 2023

Autores: James Enouen, Hootan Nakhost, Sayna Ebrahimi, Sercan O Arik, Yan Liu, Tomas Pfister

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han atraído un enorme interés en aplicaciones prácticas debido a sus respuestas cada vez más precisas y sus capacidades de razonamiento coherente. Dada su naturaleza como cajas negras que utilizan procesos de razonamiento complejos sobre sus entradas, es inevitable que la demanda de explicaciones escalables y fieles para el contenido generado por los LLMs continúe creciendo. Ha habido avances significativos en la explicabilidad de los modelos de redes neuronales durante la última década. Entre ellos, los métodos de explicabilidad post-hoc, especialmente los valores de Shapley, han demostrado ser efectivos para interpretar modelos de aprendizaje profundo. Sin embargo, existen grandes desafíos al escalar los valores de Shapley para los LLMs, particularmente al tratar con contextos de entrada largos que contienen miles de tokens y secuencias de salida generadas de manera autoregresiva. Además, a menudo no está claro cómo utilizar de manera efectiva las explicaciones generadas para mejorar el rendimiento de los LLMs. En este artículo, presentamos TextGenSHAP, un método de explicación post-hoc eficiente que incorpora técnicas específicas para modelos de lenguaje. Demostramos que esto conduce a aumentos significativos en la velocidad en comparación con los cálculos convencionales de valores de Shapley, reduciendo los tiempos de procesamiento de horas a minutos para explicaciones a nivel de token, y a solo segundos para explicaciones a nivel de documento. Además, demostramos cómo los valores de Shapley en tiempo real pueden utilizarse en dos escenarios importantes: proporcionando una mejor comprensión de la respuesta a preguntas en documentos largos mediante la localización de palabras y oraciones importantes; y mejorando los sistemas existentes de recuperación de documentos al aumentar la precisión de los pasajes seleccionados y, en última instancia, las respuestas finales.

English

Large language models (LLMs) have attracted huge interest in practical applications given their increasingly accurate responses and coherent reasoning abilities. Given their nature as black-boxes using complex reasoning processes on their inputs, it is inevitable that the demand for scalable and faithful explanations for LLMs' generated content will continue to grow. There have been major developments in the explainability of neural network models over the past decade. Among them, post-hoc explainability methods, especially Shapley values, have proven effective for interpreting deep learning models. However, there are major challenges in scaling up Shapley values for LLMs, particularly when dealing with long input contexts containing thousands of tokens and autoregressively generated output sequences. Furthermore, it is often unclear how to effectively utilize generated explanations to improve the performance of LLMs. In this paper, we introduce TextGenSHAP, an efficient post-hoc explanation method incorporating LM-specific techniques. We demonstrate that this leads to significant increases in speed compared to conventional Shapley value computations, reducing processing times from hours to minutes for token-level explanations, and to just seconds for document-level explanations. In addition, we demonstrate how real-time Shapley values can be utilized in two important scenarios, providing better understanding of long-document question answering by localizing important words and sentences; and improving existing document retrieval systems through enhancing the accuracy of selected passages and ultimately the final responses.