Transformer Explainer: テキスト生成モデルのインタラクティブ学習

Transformer Explainer: Interactive Learning of Text-Generative Models

August 8, 2024

著者: Aeree Cho, Grace C. Kim, Alexander Karpekov, Alec Helbling, Zijie J. Wang, Seongmin Lee, Benjamin Hoover, Duen Horng Chau

cs.AI

要旨

Transformerは機械学習に革命をもたらしましたが、その内部動作は多くの人にとって不透明なままです。本論文では、非専門家がGPT-2モデルを通じてTransformerを学ぶためのインタラクティブな可視化ツール「Transformer Explainer」を紹介します。本ツールは、モデルの概要を統合し、数学的操作やモデル構造の抽象化レベル間をスムーズに移行できるようにすることで、複雑なTransformerの概念を理解するのに役立ちます。ユーザーのブラウザ上でローカルにGPT-2のライブインスタンスを実行し、ユーザーが独自の入力を試して、Transformerの内部コンポーネントとパラメータがどのように連携して次のトークンを予測するかをリアルタイムで観察できるようにします。本ツールはインストールや特別なハードウェアを必要とせず、現代の生成AI技術への一般の教育アクセスを広げます。オープンソースの本ツールはhttps://poloclub.github.io/transformer-explainer/で利用可能です。ビデオデモはhttps://youtu.be/ECR4oAwocjsでご覧いただけます。

English

Transformers have revolutionized machine learning, yet their inner workings remain opaque to many. We present Transformer Explainer, an interactive visualization tool designed for non-experts to learn about Transformers through the GPT-2 model. Our tool helps users understand complex Transformer concepts by integrating a model overview and enabling smooth transitions across abstraction levels of mathematical operations and model structures. It runs a live GPT-2 instance locally in the user's browser, empowering users to experiment with their own input and observe in real-time how the internal components and parameters of the Transformer work together to predict the next tokens. Our tool requires no installation or special hardware, broadening the public's education access to modern generative AI techniques. Our open-sourced tool is available at https://poloclub.github.io/transformer-explainer/. A video demo is available at https://youtu.be/ECR4oAwocjs.