Oltre i Modelli Linguistici: i Modelli Byte sono Simulatori del Mondo Digitale
Beyond Language Models: Byte Models are Digital World Simulators
February 29, 2024
Autori: Shangda Wu, Xu Tan, Zili Wang, Rui Wang, Xiaobing Li, Maosong Sun
cs.AI
Abstract
L'apprendimento profondo tradizionale spesso trascura i byte, le unità fondamentali del mondo digitale, dove tutte le forme di informazioni e operazioni sono codificate e manipolate in formato binario. Ispirati dal successo della previsione del token successivo nell'elaborazione del linguaggio naturale, introduciamo bGPT, un modello con previsione del byte successivo per simulare il mondo digitale. bGPT eguaglia le prestazioni di modelli specializzati in varie modalità, inclusi testo, audio e immagini, e offre nuove possibilità per prevedere, simulare e diagnosticare il comportamento di algoritmi o hardware. Ha replicato quasi perfettamente il processo di conversione dei dati musicali simbolici, raggiungendo un basso tasso di errore di 0,0011 bit per byte nella conversione dalla notazione ABC al formato MIDI. Inoltre, bGPT dimostra capacità eccezionali nella simulazione del comportamento della CPU, con un'accuratezza superiore al 99,99% nell'esecuzione di varie operazioni. Sfruttando la previsione del byte successivo, modelli come bGPT possono apprendere direttamente da vasti dati binari, simulando efficacemente i complessi schemi del mondo digitale.
English
Traditional deep learning often overlooks bytes, the basic units of the
digital world, where all forms of information and operations are encoded and
manipulated in binary format. Inspired by the success of next token prediction
in natural language processing, we introduce bGPT, a model with next byte
prediction to simulate the digital world. bGPT matches specialized models in
performance across various modalities, including text, audio, and images, and
offers new possibilities for predicting, simulating, and diagnosing algorithm
or hardware behaviour. It has almost flawlessly replicated the process of
converting symbolic music data, achieving a low error rate of 0.0011 bits per
byte in converting ABC notation to MIDI format. In addition, bGPT demonstrates
exceptional capabilities in simulating CPU behaviour, with an accuracy
exceeding 99.99% in executing various operations. Leveraging next byte
prediction, models like bGPT can directly learn from vast binary data,
effectively simulating the intricate patterns of the digital world.