Além dos Modelos de Linguagem: Modelos de Bytes são Simuladores do Mundo Digital
Beyond Language Models: Byte Models are Digital World Simulators
February 29, 2024
Autores: Shangda Wu, Xu Tan, Zili Wang, Rui Wang, Xiaobing Li, Maosong Sun
cs.AI
Resumo
O aprendizado profundo tradicional frequentemente ignora os bytes, as unidades básicas do mundo digital, onde todas as formas de informação e operações são codificadas e manipuladas em formato binário. Inspirados pelo sucesso da previsão do próximo token no processamento de linguagem natural, introduzimos o bGPT, um modelo com previsão do próximo byte para simular o mundo digital. O bGPT iguala o desempenho de modelos especializados em várias modalidades, incluindo texto, áudio e imagens, e oferece novas possibilidades para prever, simular e diagnosticar o comportamento de algoritmos ou hardware. Ele replicou quase perfeitamente o processo de conversão de dados musicais simbólicos, alcançando uma taxa de erro baixa de 0,0011 bits por byte na conversão da notação ABC para o formato MIDI. Além disso, o bGPT demonstra capacidades excepcionais na simulação do comportamento da CPU, com uma precisão superior a 99,99% na execução de várias operações. Aproveitando a previsão do próximo byte, modelos como o bGPT podem aprender diretamente de vastos dados binários, simulando efetivamente os padrões intrincados do mundo digital.
English
Traditional deep learning often overlooks bytes, the basic units of the
digital world, where all forms of information and operations are encoded and
manipulated in binary format. Inspired by the success of next token prediction
in natural language processing, we introduce bGPT, a model with next byte
prediction to simulate the digital world. bGPT matches specialized models in
performance across various modalities, including text, audio, and images, and
offers new possibilities for predicting, simulating, and diagnosing algorithm
or hardware behaviour. It has almost flawlessly replicated the process of
converting symbolic music data, achieving a low error rate of 0.0011 bits per
byte in converting ABC notation to MIDI format. In addition, bGPT demonstrates
exceptional capabilities in simulating CPU behaviour, with an accuracy
exceeding 99.99% in executing various operations. Leveraging next byte
prediction, models like bGPT can directly learn from vast binary data,
effectively simulating the intricate patterns of the digital world.