ChatPaper.aiChatPaper

생성 언어 모델을 설명하기 위해 Captum 사용하기

Using Captum to Explain Generative Language Models

December 9, 2023
저자: Vivek Miglani, Aobo Yang, Aram H. Markosyan, Diego Garcia-Olano, Narine Kokhlikyan
cs.AI

초록

Captum은 PyTorch 모델의 설명 가능성을 위한 포괄적인 라이브러리로, PyTorch 모델에 대한 사용자의 이해를 높이기 위해 해석 가능성 문헌에서 다양한 방법을 제공합니다. 본 논문에서는 생성 언어 모델의 동작을 분석하기 위해 특별히 설계된 Captum의 새로운 기능들을 소개합니다. 우리는 사용 가능한 기능들에 대한 개요와 생성 언어 모델 내에서 학습된 연관성을 이해하는 데 있어 그 잠재력에 대한 예시 응용 사례를 제공합니다.
English
Captum is a comprehensive library for model explainability in PyTorch, offering a range of methods from the interpretability literature to enhance users' understanding of PyTorch models. In this paper, we introduce new features in Captum that are specifically designed to analyze the behavior of generative language models. We provide an overview of the available functionalities and example applications of their potential for understanding learned associations within generative language models.
PDF41December 15, 2024