Captum gebruiken om generatieve taalmodelen te verklaren
Using Captum to Explain Generative Language Models
December 9, 2023
Auteurs: Vivek Miglani, Aobo Yang, Aram H. Markosyan, Diego Garcia-Olano, Narine Kokhlikyan
cs.AI
Samenvatting
Captum is een uitgebreide bibliotheek voor modelverklaringen in PyTorch, die een reeks methoden uit de interpretatieliteratuur biedt om het begrip van PyTorch-modellen te vergroten. In dit artikel introduceren we nieuwe functies in Captum die specifiek zijn ontworpen om het gedrag van generatieve taalmodelen te analyseren. We geven een overzicht van de beschikbare functionaliteiten en voorbeeldtoepassingen van hun potentieel om geleerde associaties binnen generatieve taalmodelen te begrijpen.
English
Captum is a comprehensive library for model explainability in PyTorch,
offering a range of methods from the interpretability literature to enhance
users' understanding of PyTorch models. In this paper, we introduce new
features in Captum that are specifically designed to analyze the behavior of
generative language models. We provide an overview of the available
functionalities and example applications of their potential for understanding
learned associations within generative language models.