Transformer Uitlegger: Interactief Leren van Tekstgeneratieve Modellen

Transformer Explainer: Interactive Learning of Text-Generative Models

August 8, 2024

Auteurs: Aeree Cho, Grace C. Kim, Alexander Karpekov, Alec Helbling, Zijie J. Wang, Seongmin Lee, Benjamin Hoover, Duen Horng Chau

cs.AI

Samenvatting

Transformers hebben een revolutie teweeggebracht in machine learning, maar hun interne werking blijft voor velen ondoorzichtig. Wij presenteren Transformer Explainer, een interactieve visualisatietool ontworpen voor niet-experts om meer te leren over Transformers via het GPT-2-model. Onze tool helpt gebruikers complexe Transformer-concepten te begrijpen door een modeloverzicht te integreren en soepele overgangen mogelijk te maken tussen abstractieniveaus van wiskundige bewerkingen en modelstructuren. De tool draait een live GPT-2-instantie lokaal in de browser van de gebruiker, waardoor gebruikers kunnen experimenteren met hun eigen invoer en in realtime kunnen observeren hoe de interne componenten en parameters van de Transformer samenwerken om de volgende tokens te voorspellen. Onze tool vereist geen installatie of speciale hardware, wat de toegang tot moderne generatieve AI-technieken voor het brede publiek vergroot. Onze open-source tool is beschikbaar op https://poloclub.github.io/transformer-explainer/. Een videodemo is beschikbaar op https://youtu.be/ECR4oAwocjs.

English

Transformers have revolutionized machine learning, yet their inner workings remain opaque to many. We present Transformer Explainer, an interactive visualization tool designed for non-experts to learn about Transformers through the GPT-2 model. Our tool helps users understand complex Transformer concepts by integrating a model overview and enabling smooth transitions across abstraction levels of mathematical operations and model structures. It runs a live GPT-2 instance locally in the user's browser, empowering users to experiment with their own input and observe in real-time how the internal components and parameters of the Transformer work together to predict the next tokens. Our tool requires no installation or special hardware, broadening the public's education access to modern generative AI techniques. Our open-sourced tool is available at https://poloclub.github.io/transformer-explainer/. A video demo is available at https://youtu.be/ECR4oAwocjs.