Объяснение трансформера: интерактивное обучение моделей генерации текста

Transformer Explainer: Interactive Learning of Text-Generative Models

August 8, 2024

Авторы: Aeree Cho, Grace C. Kim, Alexander Karpekov, Alec Helbling, Zijie J. Wang, Seongmin Lee, Benjamin Hoover, Duen Horng Chau

cs.AI

Аннотация

Трансформеры революционизировали машинное обучение, однако их внутренние механизмы остаются непрозрачными для многих. Мы представляем Transformer Explainer, интерактивный инструмент визуализации, разработанный для неспециалистов, чтобы изучить трансформеры через модель GPT-2. Наш инструмент помогает пользователям понять сложные концепции трансформеров, интегрируя обзор модели и обеспечивая плавные переходы между уровнями абстракции математических операций и структур модели. Он запускает живой экземпляр GPT-2 локально в браузере пользователя, давая возможность экспериментировать с собственным вводом и наблюдать в реальном времени, как внутренние компоненты и параметры трансформера взаимодействуют для предсказания следующих токенов. Наш инструмент не требует установки или специального оборудования, расширяя доступ общественности к современным техникам генеративного искусственного интеллекта. Наш инструмент с открытым исходным кодом доступен по адресу https://poloclub.github.io/transformer-explainer/. Видеодемонстрация доступна по ссылке https://youtu.be/ECR4oAwocjs.

English

Transformers have revolutionized machine learning, yet their inner workings remain opaque to many. We present Transformer Explainer, an interactive visualization tool designed for non-experts to learn about Transformers through the GPT-2 model. Our tool helps users understand complex Transformer concepts by integrating a model overview and enabling smooth transitions across abstraction levels of mathematical operations and model structures. It runs a live GPT-2 instance locally in the user's browser, empowering users to experiment with their own input and observe in real-time how the internal components and parameters of the Transformer work together to predict the next tokens. Our tool requires no installation or special hardware, broadening the public's education access to modern generative AI techniques. Our open-sourced tool is available at https://poloclub.github.io/transformer-explainer/. A video demo is available at https://youtu.be/ECR4oAwocjs.