Au-delà des modèles de langage : les modèles d'octets sont des simulateurs du monde numérique
Beyond Language Models: Byte Models are Digital World Simulators
February 29, 2024
Auteurs: Shangda Wu, Xu Tan, Zili Wang, Rui Wang, Xiaobing Li, Maosong Sun
cs.AI
Résumé
L'apprentissage profond traditionnel néglige souvent les octets, unités fondamentales du monde numérique, où toutes les formes d'information et d'opérations sont encodées et manipulées en format binaire. Inspirés par le succès de la prédiction du prochain jeton en traitement du langage naturel, nous introduisons bGPT, un modèle basé sur la prédiction du prochain octet pour simuler le monde numérique. bGPT rivalise avec des modèles spécialisés en termes de performance sur diverses modalités, incluant le texte, l'audio et les images, et ouvre de nouvelles perspectives pour prédire, simuler et diagnostiquer le comportement des algorithmes ou du matériel. Il a reproduit presque parfaitement le processus de conversion de données musicales symboliques, atteignant un faible taux d'erreur de 0,0011 bits par octet lors de la conversion de la notation ABC au format MIDI. De plus, bGPT démontre des capacités exceptionnelles dans la simulation du comportement d'un CPU, avec une précision dépassant 99,99 % dans l'exécution de diverses opérations. En exploitant la prédiction du prochain octet, des modèles comme bGPT peuvent apprendre directement à partir de vastes données binaires, simulant efficacement les motifs complexes du monde numérique.
English
Traditional deep learning often overlooks bytes, the basic units of the
digital world, where all forms of information and operations are encoded and
manipulated in binary format. Inspired by the success of next token prediction
in natural language processing, we introduce bGPT, a model with next byte
prediction to simulate the digital world. bGPT matches specialized models in
performance across various modalities, including text, audio, and images, and
offers new possibilities for predicting, simulating, and diagnosing algorithm
or hardware behaviour. It has almost flawlessly replicated the process of
converting symbolic music data, achieving a low error rate of 0.0011 bits per
byte in converting ABC notation to MIDI format. In addition, bGPT demonstrates
exceptional capabilities in simulating CPU behaviour, with an accuracy
exceeding 99.99% in executing various operations. Leveraging next byte
prediction, models like bGPT can directly learn from vast binary data,
effectively simulating the intricate patterns of the digital world.