TextGenSHAP: Масштабируемые постфактумные объяснения в генерации текста для длинных документов

TextGenSHAP: Scalable Post-hoc Explanations in Text Generation with Long Documents

December 3, 2023

Авторы: James Enouen, Hootan Nakhost, Sayna Ebrahimi, Sercan O Arik, Yan Liu, Tomas Pfister

cs.AI

Аннотация

Крупные языковые модели (LLM) привлекают огромный интерес в практических приложениях благодаря их всё более точным ответам и способности к связному рассуждению. Учитывая их природу как "чёрных ящиков", использующих сложные процессы рассуждения на основе входных данных, неизбежно, что спрос на масштабируемые и достоверные объяснения для контента, генерируемого LLM, будет продолжать расти. За последнее десятилетие произошли значительные разработки в области объяснимости моделей нейронных сетей. Среди них постфактумные методы объяснимости, особенно значения Шепли, доказали свою эффективность для интерпретации моделей глубокого обучения. Однако существуют серьёзные проблемы в масштабировании значений Шепли для LLM, особенно при работе с длинными входными контекстами, содержащими тысячи токенов, и авторегрессивно сгенерированными выходными последовательностями. Кроме того, часто неясно, как эффективно использовать сгенерированные объяснения для улучшения производительности LLM. В данной статье мы представляем TextGenSHAP, эффективный постфактумный метод объяснения, включающий специфические для языковых моделей техники. Мы показываем, что это приводит к значительному увеличению скорости по сравнению с традиционными вычислениями значений Шепли, сокращая время обработки с часов до минут для объяснений на уровне токенов и до секунд для объяснений на уровне документов. Кроме того, мы демонстрируем, как значения Шепли в реальном времени могут быть использованы в двух важных сценариях: для лучшего понимания ответов на вопросы по длинным документам за счёт локализации важных слов и предложений; и для улучшения существующих систем поиска документов за счёт повышения точности выбранных фрагментов и, в конечном итоге, финальных ответов.

English

Large language models (LLMs) have attracted huge interest in practical applications given their increasingly accurate responses and coherent reasoning abilities. Given their nature as black-boxes using complex reasoning processes on their inputs, it is inevitable that the demand for scalable and faithful explanations for LLMs' generated content will continue to grow. There have been major developments in the explainability of neural network models over the past decade. Among them, post-hoc explainability methods, especially Shapley values, have proven effective for interpreting deep learning models. However, there are major challenges in scaling up Shapley values for LLMs, particularly when dealing with long input contexts containing thousands of tokens and autoregressively generated output sequences. Furthermore, it is often unclear how to effectively utilize generated explanations to improve the performance of LLMs. In this paper, we introduce TextGenSHAP, an efficient post-hoc explanation method incorporating LM-specific techniques. We demonstrate that this leads to significant increases in speed compared to conventional Shapley value computations, reducing processing times from hours to minutes for token-level explanations, and to just seconds for document-level explanations. In addition, we demonstrate how real-time Shapley values can be utilized in two important scenarios, providing better understanding of long-document question answering by localizing important words and sentences; and improving existing document retrieval systems through enhancing the accuracy of selected passages and ultimately the final responses.