Использование Captum для объяснения генеративных языковых моделей
Using Captum to Explain Generative Language Models
December 9, 2023
Авторы: Vivek Miglani, Aobo Yang, Aram H. Markosyan, Diego Garcia-Olano, Narine Kokhlikyan
cs.AI
Аннотация
Captum — это всеобъемлющая библиотека для объяснения моделей в PyTorch, предлагающая широкий спектр методов из области интерпретируемости, которые помогают пользователям лучше понимать модели PyTorch. В данной статье мы представляем новые функции в Captum, специально разработанные для анализа поведения генеративных языковых моделей. Мы предоставляем обзор доступных функциональных возможностей и примеры их применения для понимания изученных ассоциаций в генеративных языковых моделях.
English
Captum is a comprehensive library for model explainability in PyTorch,
offering a range of methods from the interpretability literature to enhance
users' understanding of PyTorch models. In this paper, we introduce new
features in Captum that are specifically designed to analyze the behavior of
generative language models. We provide an overview of the available
functionalities and example applications of their potential for understanding
learned associations within generative language models.