За пределами языковых моделей: Байт-модели являются симуляторами цифрового мира.
Beyond Language Models: Byte Models are Digital World Simulators
February 29, 2024
Авторы: Shangda Wu, Xu Tan, Zili Wang, Rui Wang, Xiaobing Li, Maosong Sun
cs.AI
Аннотация
Традиционное глубокое обучение часто не учитывает байты, основные единицы цифрового мира, где все формы информации и операции кодируются и обрабатываются в двоичном формате. Вдохновленные успехом предсказания следующего токена в обработке естественного языка, мы представляем bGPT, модель с предсказанием следующего байта для имитации цифрового мира. bGPT соответствует специализированным моделям по производительности в различных модальностях, включая текст, аудио и изображения, и предлагает новые возможности для предсказания, имитации и диагностики поведения алгоритмов или аппаратных средств. Он практически безупречно воспроизвел процесс преобразования символьных данных музыки, достигнув низкой ошибки в 0.0011 бит на байт при преобразовании нотации ABC в формат MIDI. Кроме того, bGPT демонстрирует исключительные способности в имитации поведения ЦП, с точностью более 99.99% при выполнении различных операций. Используя предсказание следующего байта, модели, подобные bGPT, могут напрямую учиться на огромных объемах двоичных данных, эффективно имитируя сложные закономерности цифрового мира.
English
Traditional deep learning often overlooks bytes, the basic units of the
digital world, where all forms of information and operations are encoded and
manipulated in binary format. Inspired by the success of next token prediction
in natural language processing, we introduce bGPT, a model with next byte
prediction to simulate the digital world. bGPT matches specialized models in
performance across various modalities, including text, audio, and images, and
offers new possibilities for predicting, simulating, and diagnosing algorithm
or hardware behaviour. It has almost flawlessly replicated the process of
converting symbolic music data, achieving a low error rate of 0.0011 bits per
byte in converting ABC notation to MIDI format. In addition, bGPT demonstrates
exceptional capabilities in simulating CPU behaviour, with an accuracy
exceeding 99.99% in executing various operations. Leveraging next byte
prediction, models like bGPT can directly learn from vast binary data,
effectively simulating the intricate patterns of the digital world.