Utilisation de Captum pour expliquer les modèles de langage génératifs

Using Captum to Explain Generative Language Models

December 9, 2023

Auteurs: Vivek Miglani, Aobo Yang, Aram H. Markosyan, Diego Garcia-Olano, Narine Kokhlikyan

cs.AI

Résumé

Captum est une bibliothèque complète pour l'explicabilité des modèles dans PyTorch, proposant une gamme de méthodes issues de la littérature sur l'interprétabilité pour améliorer la compréhension des utilisateurs concernant les modèles PyTorch. Dans cet article, nous présentons de nouvelles fonctionnalités dans Captum spécialement conçues pour analyser le comportement des modèles de langage génératifs. Nous fournissons un aperçu des fonctionnalités disponibles et des exemples d'applications illustrant leur potentiel pour comprendre les associations apprises au sein des modèles de langage génératifs.

English

Captum is a comprehensive library for model explainability in PyTorch, offering a range of methods from the interpretability literature to enhance users' understanding of PyTorch models. In this paper, we introduce new features in Captum that are specifically designed to analyze the behavior of generative language models. We provide an overview of the available functionalities and example applications of their potential for understanding learned associations within generative language models.