Transformer Explainer: Apprendimento Interattivo dei Modelli Generativi di Testo
Transformer Explainer: Interactive Learning of Text-Generative Models
August 8, 2024
Autori: Aeree Cho, Grace C. Kim, Alexander Karpekov, Alec Helbling, Zijie J. Wang, Seongmin Lee, Benjamin Hoover, Duen Horng Chau
cs.AI
Abstract
I Transformer hanno rivoluzionato il machine learning, ma il loro funzionamento interno rimane oscuro a molti. Presentiamo Transformer Explainer, uno strumento di visualizzazione interattivo progettato per i non esperti per apprendere i Transformer attraverso il modello GPT-2. Il nostro strumento aiuta gli utenti a comprendere concetti complessi dei Transformer integrando una panoramica del modello e consentendo transizioni fluide tra i livelli di astrazione delle operazioni matematiche e delle strutture del modello. Esegue un'istanza live di GPT-2 localmente nel browser dell'utente, permettendo agli utenti di sperimentare con il proprio input e osservare in tempo reale come i componenti interni e i parametri del Transformer collaborano per prevedere i token successivi. Il nostro strumento non richiede installazione o hardware speciale, ampliando l'accesso del pubblico all'educazione sulle moderne tecniche di AI generativa. Il nostro strumento open-source è disponibile all'indirizzo https://poloclub.github.io/transformer-explainer/. Una demo video è disponibile all'indirizzo https://youtu.be/ECR4oAwocjs.
English
Transformers have revolutionized machine learning, yet their inner workings
remain opaque to many. We present Transformer Explainer, an interactive
visualization tool designed for non-experts to learn about Transformers through
the GPT-2 model. Our tool helps users understand complex Transformer concepts
by integrating a model overview and enabling smooth transitions across
abstraction levels of mathematical operations and model structures. It runs a
live GPT-2 instance locally in the user's browser, empowering users to
experiment with their own input and observe in real-time how the internal
components and parameters of the Transformer work together to predict the next
tokens. Our tool requires no installation or special hardware, broadening the
public's education access to modern generative AI techniques. Our open-sourced
tool is available at https://poloclub.github.io/transformer-explainer/. A video
demo is available at https://youtu.be/ECR4oAwocjs.