Captumを用いた生成言語モデルの説明
Using Captum to Explain Generative Language Models
December 9, 2023
著者: Vivek Miglani, Aobo Yang, Aram H. Markosyan, Diego Garcia-Olano, Narine Kokhlikyan
cs.AI
要旨
Captumは、PyTorchにおけるモデルの説明可能性を提供する包括的なライブラリであり、解釈可能性に関する文献から得られた様々な手法を提供することで、ユーザーがPyTorchモデルを理解することを支援します。本論文では、生成言語モデルの動作を分析するために特別に設計されたCaptumの新機能を紹介します。利用可能な機能の概要と、生成言語モデル内で学習された関連性を理解するためのそれらの潜在的な応用例を提供します。
English
Captum is a comprehensive library for model explainability in PyTorch,
offering a range of methods from the interpretability literature to enhance
users' understanding of PyTorch models. In this paper, we introduce new
features in Captum that are specifically designed to analyze the behavior of
generative language models. We provide an overview of the available
functionalities and example applications of their potential for understanding
learned associations within generative language models.