Más allá de los modelos de lenguaje: Los modelos de bytes son simuladores del mundo digital
Beyond Language Models: Byte Models are Digital World Simulators
February 29, 2024
Autores: Shangda Wu, Xu Tan, Zili Wang, Rui Wang, Xiaobing Li, Maosong Sun
cs.AI
Resumen
El aprendizaje profundo tradicional a menudo pasa por alto los bytes, las unidades básicas del mundo digital, donde todas las formas de información y operaciones se codifican y manipulan en formato binario. Inspirados por el éxito de la predicción del siguiente token en el procesamiento del lenguaje natural, presentamos bGPT, un modelo con predicción del siguiente byte para simular el mundo digital. bGPT iguala el rendimiento de modelos especializados en varias modalidades, incluyendo texto, audio e imágenes, y ofrece nuevas posibilidades para predecir, simular y diagnosticar el comportamiento de algoritmos o hardware. Ha replicado casi perfectamente el proceso de conversión de datos musicales simbólicos, logrando una tasa de error baja de 0.0011 bits por byte al convertir notación ABC a formato MIDI. Además, bGPT demuestra capacidades excepcionales en la simulación del comportamiento de la CPU, con una precisión que supera el 99.99% en la ejecución de diversas operaciones. Aprovechando la predicción del siguiente byte, modelos como bGPT pueden aprender directamente de vastos datos binarios, simulando efectivamente los patrones intrincados del mundo digital.
English
Traditional deep learning often overlooks bytes, the basic units of the
digital world, where all forms of information and operations are encoded and
manipulated in binary format. Inspired by the success of next token prediction
in natural language processing, we introduce bGPT, a model with next byte
prediction to simulate the digital world. bGPT matches specialized models in
performance across various modalities, including text, audio, and images, and
offers new possibilities for predicting, simulating, and diagnosing algorithm
or hardware behaviour. It has almost flawlessly replicated the process of
converting symbolic music data, achieving a low error rate of 0.0011 bits per
byte in converting ABC notation to MIDI format. In addition, bGPT demonstrates
exceptional capabilities in simulating CPU behaviour, with an accuracy
exceeding 99.99% in executing various operations. Leveraging next byte
prediction, models like bGPT can directly learn from vast binary data,
effectively simulating the intricate patterns of the digital world.