Jenseits von Sprachmodellen: Byte-Modelle als Simulatoren der digitalen Welt
Beyond Language Models: Byte Models are Digital World Simulators
February 29, 2024
Autoren: Shangda Wu, Xu Tan, Zili Wang, Rui Wang, Xiaobing Li, Maosong Sun
cs.AI
Zusammenfassung
Traditionelles Deep Learning übersieht oft Bytes, die grundlegenden Einheiten der digitalen Welt, in der alle Formen von Informationen und Operationen in binärem Format kodiert und manipuliert werden. Inspiriert vom Erfolg der nächsten Token-Vorhersage in der natürlichen Sprachverarbeitung, stellen wir bGPT vor, ein Modell mit der Vorhersage des nächsten Bytes, um die digitale Welt zu simulieren. bGPT erreicht die Leistung spezialisierter Modelle in verschiedenen Modalitäten, einschließlich Text, Audio und Bildern, und eröffnet neue Möglichkeiten zur Vorhersage, Simulation und Diagnose von Algorithmen oder Hardware-Verhalten. Es hat den Prozess der Konvertierung symbolischer Musikdaten nahezu fehlerfrei nachgebildet und dabei eine niedrige Fehlerrate von 0,0011 Bits pro Byte bei der Umwandlung von ABC-Notation in das MIDI-Format erreicht. Darüber hinaus zeigt bGPT außergewöhnliche Fähigkeiten bei der Simulation von CPU-Verhalten, mit einer Genauigkeit von über 99,99% bei der Ausführung verschiedener Operationen. Durch die Nutzung der nächsten Byte-Vorhersage können Modelle wie bGPT direkt aus umfangreichen binären Daten lernen und die komplexen Muster der digitalen Welt effektiv simulieren.
English
Traditional deep learning often overlooks bytes, the basic units of the
digital world, where all forms of information and operations are encoded and
manipulated in binary format. Inspired by the success of next token prediction
in natural language processing, we introduce bGPT, a model with next byte
prediction to simulate the digital world. bGPT matches specialized models in
performance across various modalities, including text, audio, and images, and
offers new possibilities for predicting, simulating, and diagnosing algorithm
or hardware behaviour. It has almost flawlessly replicated the process of
converting symbolic music data, achieving a low error rate of 0.0011 bits per
byte in converting ABC notation to MIDI format. In addition, bGPT demonstrates
exceptional capabilities in simulating CPU behaviour, with an accuracy
exceeding 99.99% in executing various operations. Leveraging next byte
prediction, models like bGPT can directly learn from vast binary data,
effectively simulating the intricate patterns of the digital world.