트랜스포머 해설자: 텍스트 생성 모델의 대화형 학습

Transformer Explainer: Interactive Learning of Text-Generative Models

August 8, 2024

저자: Aeree Cho, Grace C. Kim, Alexander Karpekov, Alec Helbling, Zijie J. Wang, Seongmin Lee, Benjamin Hoover, Duen Horng Chau

cs.AI

초록

Transformer는 기계 학습을 혁신했지만 내부 작동 방식은 여전히 많은 사람들에게 불투명합니다. 우리는 Transformer Explainer를 제공합니다. 이는 비전문가들이 GPT-2 모델을 통해 Transformer에 대해 배울 수 있는 대화형 시각화 도구입니다. 우리의 도구는 사용자가 모델 개요를 통합하고 수학적 연산 및 모델 구조의 추상화 수준을 부드럽게 전환할 수 있도록 지원하여 복잡한 Transformer 개념을 이해하는 데 도움을 줍니다. 사용자의 브라우저에서 실시간으로 작동하는 GPT-2 인스턴스를 실행하여 사용자가 자체 입력을 실험하고 Transformer의 내부 구성 요소 및 매개변수가 어떻게 작동하여 다음 토큰을 예측하는지 실시간으로 관찰할 수 있도록 합니다. 우리의 도구는 설치나 특별한 하드웨어가 필요하지 않으며, 현대적인 생성적 AI 기술에 대한 대중의 교육 접근성을 확대합니다. 우리의 오픈 소스 도구는 https://poloclub.github.io/transformer-explainer/에서 이용할 수 있습니다. 비디오 데모는 https://youtu.be/ECR4oAwocjs에서 확인할 수 있습니다.

English

Transformers have revolutionized machine learning, yet their inner workings remain opaque to many. We present Transformer Explainer, an interactive visualization tool designed for non-experts to learn about Transformers through the GPT-2 model. Our tool helps users understand complex Transformer concepts by integrating a model overview and enabling smooth transitions across abstraction levels of mathematical operations and model structures. It runs a live GPT-2 instance locally in the user's browser, empowering users to experiment with their own input and observe in real-time how the internal components and parameters of the Transformer work together to predict the next tokens. Our tool requires no installation or special hardware, broadening the public's education access to modern generative AI techniques. Our open-sourced tool is available at https://poloclub.github.io/transformer-explainer/. A video demo is available at https://youtu.be/ECR4oAwocjs.