Transformer Explainer : Apprentissage interactif des modèles génératifs de texte

Transformer Explainer: Interactive Learning of Text-Generative Models

August 8, 2024

Auteurs: Aeree Cho, Grace C. Kim, Alexander Karpekov, Alec Helbling, Zijie J. Wang, Seongmin Lee, Benjamin Hoover, Duen Horng Chau

cs.AI

Résumé

Les Transformers ont révolutionné l'apprentissage automatique, mais leur fonctionnement interne reste opaque pour beaucoup. Nous présentons Transformer Explainer, un outil de visualisation interactif conçu pour les non-experts afin d'apprendre les Transformers à travers le modèle GPT-2. Notre outil aide les utilisateurs à comprendre les concepts complexes des Transformers en intégrant une vue d'ensemble du modèle et en permettant des transitions fluides entre les niveaux d'abstraction des opérations mathématiques et des structures du modèle. Il exécute une instance en direct de GPT-2 localement dans le navigateur de l'utilisateur, permettant ainsi d'expérimenter avec leurs propres entrées et d'observer en temps réel comment les composants internes et les paramètres du Transformer interagissent pour prédire les tokens suivants. Notre outil ne nécessite aucune installation ni matériel spécial, élargissant ainsi l'accès du public à l'éducation sur les techniques modernes d'IA générative. Notre outil open-source est disponible à l'adresse https://poloclub.github.io/transformer-explainer/. Une démonstration vidéo est disponible à l'adresse https://youtu.be/ECR4oAwocjs.

English

Transformers have revolutionized machine learning, yet their inner workings remain opaque to many. We present Transformer Explainer, an interactive visualization tool designed for non-experts to learn about Transformers through the GPT-2 model. Our tool helps users understand complex Transformer concepts by integrating a model overview and enabling smooth transitions across abstraction levels of mathematical operations and model structures. It runs a live GPT-2 instance locally in the user's browser, empowering users to experiment with their own input and observe in real-time how the internal components and parameters of the Transformer work together to predict the next tokens. Our tool requires no installation or special hardware, broadening the public's education access to modern generative AI techniques. Our open-sourced tool is available at https://poloclub.github.io/transformer-explainer/. A video demo is available at https://youtu.be/ECR4oAwocjs.