言語モデルを超えて：バイトモデルはデジタル世界のシミュレータ
Beyond Language Models: Byte Models are Digital World Simulators
February 29, 2024
著者: Shangda Wu, Xu Tan, Zili Wang, Rui Wang, Xiaobing Li, Maosong Sun
cs.AI
要旨
従来のディープラーニングは、デジタル世界の基本単位であるバイトを見落としがちでした。デジタル世界では、あらゆる形式の情報と操作がバイナリ形式でエンコードされ、操作されます。自然言語処理における次のトークン予測の成功に触発され、我々はデジタル世界をシミュレートするための次のバイト予測モデルであるbGPTを導入しました。bGPTは、テキスト、オーディオ、画像など様々なモダリティにおいて専門モデルに匹敵する性能を発揮し、アルゴリズムやハードウェアの動作を予測、シミュレート、診断する新たな可能性を提供します。bGPTは、シンボリック音楽データの変換プロセスをほぼ完璧に再現し、ABC記譜法からMIDIフォーマットへの変換において1バイトあたり0.0011ビットという低いエラーレートを達成しました。さらに、bGPTはCPUの動作シミュレーションにおいても卓越した能力を示し、様々な操作を実行する際の精度が99.99%を超えています。次のバイト予測を活用することで、bGPTのようなモデルは膨大なバイナリデータから直接学習し、デジタル世界の複雑なパターンを効果的にシミュレートすることができます。
English
Traditional deep learning often overlooks bytes, the basic units of the
digital world, where all forms of information and operations are encoded and
manipulated in binary format. Inspired by the success of next token prediction
in natural language processing, we introduce bGPT, a model with next byte
prediction to simulate the digital world. bGPT matches specialized models in
performance across various modalities, including text, audio, and images, and
offers new possibilities for predicting, simulating, and diagnosing algorithm
or hardware behaviour. It has almost flawlessly replicated the process of
converting symbolic music data, achieving a low error rate of 0.0011 bits per
byte in converting ABC notation to MIDI format. In addition, bGPT demonstrates
exceptional capabilities in simulating CPU behaviour, with an accuracy
exceeding 99.99% in executing various operations. Leveraging next byte
prediction, models like bGPT can directly learn from vast binary data,
effectively simulating the intricate patterns of the digital world.