언어 모델을 넘어: 바이트 모델은 디지털 세계 시뮬레이터이다
Beyond Language Models: Byte Models are Digital World Simulators
February 29, 2024
저자: Shangda Wu, Xu Tan, Zili Wang, Rui Wang, Xiaobing Li, Maosong Sun
cs.AI
초록
전통적인 딥러닝은 종종 디지털 세계의 기본 단위인 바이트를 간과하는데, 이는 모든 형태의 정보와 연산이 이진 형식으로 인코딩되고 조작되는 곳입니다. 자연어 처리에서의 다음 토큰 예측의 성공에 영감을 받아, 우리는 디지털 세계를 시뮬레이션하기 위해 다음 바이트 예측을 수행하는 bGPT 모델을 소개합니다. bGPT는 텍스트, 오디오, 이미지 등 다양한 모달리티에서 특화된 모델들과 성능을 맞추며, 알고리즘 또는 하드웨어 동작을 예측, 시뮬레이션, 진단하는 새로운 가능성을 제공합니다. bGPT는 기호 음악 데이터 변환 과정을 거의 완벽하게 복제하여 ABC 표기법을 MIDI 형식으로 변환할 때 바이트당 0.0011비트의 낮은 오류율을 달성했습니다. 또한, bGPT는 CPU 동작 시뮬레이션에서도 뛰어난 능력을 보여주며, 다양한 연산을 실행할 때 99.99%를 초과하는 정확도를 보입니다. 다음 바이트 예측을 활용함으로써, bGPT와 같은 모델은 방대한 이진 데이터로부터 직접 학습하여 디지털 세계의 복잡한 패턴을 효과적으로 시뮬레이션할 수 있습니다.
English
Traditional deep learning often overlooks bytes, the basic units of the
digital world, where all forms of information and operations are encoded and
manipulated in binary format. Inspired by the success of next token prediction
in natural language processing, we introduce bGPT, a model with next byte
prediction to simulate the digital world. bGPT matches specialized models in
performance across various modalities, including text, audio, and images, and
offers new possibilities for predicting, simulating, and diagnosing algorithm
or hardware behaviour. It has almost flawlessly replicated the process of
converting symbolic music data, achieving a low error rate of 0.0011 bits per
byte in converting ABC notation to MIDI format. In addition, bGPT demonstrates
exceptional capabilities in simulating CPU behaviour, with an accuracy
exceeding 99.99% in executing various operations. Leveraging next byte
prediction, models like bGPT can directly learn from vast binary data,
effectively simulating the intricate patterns of the digital world.