Transformer Erklärung: Interaktives Lernen von Text-generativen Modellen

Transformer Explainer: Interactive Learning of Text-Generative Models

August 8, 2024

Autoren: Aeree Cho, Grace C. Kim, Alexander Karpekov, Alec Helbling, Zijie J. Wang, Seongmin Lee, Benjamin Hoover, Duen Horng Chau

cs.AI

Zusammenfassung

Transformer haben das maschinelle Lernen revolutioniert, doch ihre Funktionsweise bleibt vielen undurchsichtig. Wir präsentieren Transformer Explainer, ein interaktives Visualisierungstool, das für Nicht-Experten entwickelt wurde, um die Funktionsweise von Transformern durch das GPT-2-Modell zu erlernen. Unser Tool hilft Benutzern komplexe Transformer-Konzepte zu verstehen, indem es eine Modellübersicht integriert und reibungslose Übergänge zwischen Abstraktionsebenen mathematischer Operationen und Modellstrukturen ermöglicht. Es führt eine Live-GPT-2-Instanz lokal im Browser des Benutzers aus, was Benutzern ermöglicht, mit ihren eigenen Eingaben zu experimentieren und in Echtzeit zu beobachten, wie die internen Komponenten und Parameter des Transformers zusammenarbeiten, um die nächsten Token vorherzusagen. Unser Tool erfordert keine Installation oder spezielle Hardware und erweitert somit den Zugang der Öffentlichkeit zu modernen generativen KI-Techniken. Unser Open-Source-Tool ist verfügbar unter https://poloclub.github.io/transformer-explainer/. Eine Video-Demo ist verfügbar unter https://youtu.be/ECR4oAwocjs.

English

Transformers have revolutionized machine learning, yet their inner workings remain opaque to many. We present Transformer Explainer, an interactive visualization tool designed for non-experts to learn about Transformers through the GPT-2 model. Our tool helps users understand complex Transformer concepts by integrating a model overview and enabling smooth transitions across abstraction levels of mathematical operations and model structures. It runs a live GPT-2 instance locally in the user's browser, empowering users to experiment with their own input and observe in real-time how the internal components and parameters of the Transformer work together to predict the next tokens. Our tool requires no installation or special hardware, broadening the public's education access to modern generative AI techniques. Our open-sourced tool is available at https://poloclub.github.io/transformer-explainer/. A video demo is available at https://youtu.be/ECR4oAwocjs.