Usando o Captum para Explicar Modelos de Linguagem Generativos
Using Captum to Explain Generative Language Models
December 9, 2023
Autores: Vivek Miglani, Aobo Yang, Aram H. Markosyan, Diego Garcia-Olano, Narine Kokhlikyan
cs.AI
Resumo
O Captum é uma biblioteca abrangente para explicabilidade de modelos em PyTorch, oferecendo uma variedade de métodos da literatura de interpretabilidade para aprimorar a compreensão dos usuários sobre modelos PyTorch. Neste artigo, apresentamos novos recursos no Captum que foram especificamente projetados para analisar o comportamento de modelos de linguagem generativos. Fornecemos uma visão geral das funcionalidades disponíveis e exemplos de aplicações que demonstram seu potencial para compreender associações aprendidas dentro de modelos de linguagem generativos.
English
Captum is a comprehensive library for model explainability in PyTorch,
offering a range of methods from the interpretability literature to enhance
users' understanding of PyTorch models. In this paper, we introduce new
features in Captum that are specifically designed to analyze the behavior of
generative language models. We provide an overview of the available
functionalities and example applications of their potential for understanding
learned associations within generative language models.