Explicador de Transformadores: Aprendizaje Interactivo de Modelos Generativos de Texto

Transformer Explainer: Interactive Learning of Text-Generative Models

August 8, 2024

Autores: Aeree Cho, Grace C. Kim, Alexander Karpekov, Alec Helbling, Zijie J. Wang, Seongmin Lee, Benjamin Hoover, Duen Horng Chau

cs.AI

Resumen

Los Transformers han revolucionado el aprendizaje automático, sin embargo, su funcionamiento interno sigue siendo opaco para muchos. Presentamos Transformer Explainer, una herramienta de visualización interactiva diseñada para que los no expertos aprendan sobre los Transformers a través del modelo GPT-2. Nuestra herramienta ayuda a los usuarios a comprender conceptos complejos de los Transformers integrando una descripción general del modelo y permitiendo transiciones suaves entre los niveles de abstracción de las operaciones matemáticas y las estructuras del modelo. Ejecuta una instancia en vivo de GPT-2 localmente en el navegador del usuario, permitiéndoles experimentar con su propia entrada y observar en tiempo real cómo los componentes internos y parámetros del Transformer trabajan juntos para predecir los siguientes tokens. Nuestra herramienta no requiere instalación ni hardware especial, ampliando el acceso educativo del público a las técnicas modernas de IA generativa. Nuestra herramienta de código abierto está disponible en https://poloclub.github.io/transformer-explainer/. Un demo en video está disponible en https://youtu.be/ECR4oAwocjs.

English

Transformers have revolutionized machine learning, yet their inner workings remain opaque to many. We present Transformer Explainer, an interactive visualization tool designed for non-experts to learn about Transformers through the GPT-2 model. Our tool helps users understand complex Transformer concepts by integrating a model overview and enabling smooth transitions across abstraction levels of mathematical operations and model structures. It runs a live GPT-2 instance locally in the user's browser, empowering users to experiment with their own input and observe in real-time how the internal components and parameters of the Transformer work together to predict the next tokens. Our tool requires no installation or special hardware, broadening the public's education access to modern generative AI techniques. Our open-sourced tool is available at https://poloclub.github.io/transformer-explainer/. A video demo is available at https://youtu.be/ECR4oAwocjs.