Explicador do Transformer: Aprendizagem Interativa de Modelos Generativos de Texto

Transformer Explainer: Interactive Learning of Text-Generative Models

August 8, 2024

Autores: Aeree Cho, Grace C. Kim, Alexander Karpekov, Alec Helbling, Zijie J. Wang, Seongmin Lee, Benjamin Hoover, Duen Horng Chau

cs.AI

Resumo

Os Transformers revolucionaram a aprendizagem de máquina, no entanto, seu funcionamento interno permanece opaco para muitos. Apresentamos o Transformer Explainer, uma ferramenta de visualização interativa projetada para não especialistas aprenderem sobre os Transformers por meio do modelo GPT-2. Nossa ferramenta ajuda os usuários a compreender conceitos complexos dos Transformers integrando uma visão geral do modelo e permitindo transições suaves entre os níveis de abstração das operações matemáticas e estruturas do modelo. Ela executa uma instância ao vivo do GPT-2 localmente no navegador do usuário, capacitando os usuários a experimentar com suas próprias entradas e observar em tempo real como os componentes internos e parâmetros do Transformer trabalham juntos para prever os próximos tokens. Nossa ferramenta não requer instalação ou hardware especial, ampliando o acesso educacional do público às técnicas modernas de IA generativa. Nossa ferramenta de código aberto está disponível em https://poloclub.github.io/transformer-explainer/. Uma demonstração em vídeo está disponível em https://youtu.be/ECR4oAwocjs.

English

Transformers have revolutionized machine learning, yet their inner workings remain opaque to many. We present Transformer Explainer, an interactive visualization tool designed for non-experts to learn about Transformers through the GPT-2 model. Our tool helps users understand complex Transformer concepts by integrating a model overview and enabling smooth transitions across abstraction levels of mathematical operations and model structures. It runs a live GPT-2 instance locally in the user's browser, empowering users to experiment with their own input and observe in real-time how the internal components and parameters of the Transformer work together to predict the next tokens. Our tool requires no installation or special hardware, broadening the public's education access to modern generative AI techniques. Our open-sourced tool is available at https://poloclub.github.io/transformer-explainer/. A video demo is available at https://youtu.be/ECR4oAwocjs.