Daedalus-150M：CPU推論向けに設計された畳み込みアテンション・ハイブリッドモデル

要旨

小規模言語モデルは通常、大規模モデルと同様に構築したあとでCPUに押し込む。我々は逆のアプローチをとった。まずターゲットを固定した。すなわち、一度に1ユーザー、1トークン、4ビット重み、通常のCPUという条件を先に定め、それに適合するアーキテクチャを選んだ。その結果、18ブロックのうち6ブロックのみが完全なアテンションを保持する。残りの12ブロックは、会話がどれだけ長くなってもメモリ幅が2タイムステップ分しかない短い畳み込みを使用する。したがって、ネットワークの3分の2は増え続けるキャッシュを再読み込みしない。 59.9Bトークンでゼロから学習した本モデルは、学習開始前に固定された基準値42.20に対して、5タスクのベンチマークで47.31を達成した。これは、3倍から6倍多いデータで学習されたGPT-2 124M、Pythia-160M、OPT-125M、GPT-neo-125Mを上回り、1兆トークンを学習したMobileLLM-125Mの公表スコアをも凌駕する。検証ビット/バイトは0.8685である。学習レシピではなくアーキテクチャを検証するため、同じデータ・同じサイズの従来型の全アテンションモデルを学習し、どちらを評価する前に勝利条件を書き留めた。ハイブリッドモデルは選択した品質指標で0.81%勝利し、下流タスクでは同等の結果を示し、4ビットファイルは6.3%小さくなり、コンテキスト2048トークンでのデコード速度は1.76倍、類似サイズの外部モデルに対しては2.08倍速かった。すべての測定において、速度優位性は空のコンテキストではほぼゼロであり、長さとともに増加する。これはこのメカニズムが予測するとおりであり、単に軽量なモデルでは示されない。単純な帯域幅計算では1.17倍しか予測されないため、メモリ量だけではこの差は説明できない。また、機能しなかった点も報告する。4ビット化による品質コストが軽減されなかったこと、畳み込みチャネルのおよそ半分が結果的に不活性となり除去不可能であること、そしてこのモデルサイズに見合わない大きな語彙である。

English

Small language models are usually built like large ones and then squeezed onto a CPU afterwards. We did the opposite: we fixed the target first, one user, one token at a time, 4-bit weights, ordinary CPU, and chose the architecture to suit it. The result keeps full attention in only 6 of its 18 blocks. The other 12 use short convolutions whose memory is two timesteps wide no matter how long the conversation gets, so two thirds of the network never re-reads a growing cache. Trained from scratch on 59.9B tokens, the model scores 47.31 on a five-task benchmark against a bar of 42.20 that was fixed before training began. It beats GPT-2 124M, Pythia-160M, OPT-125M and GPT-neo-125M, all trained on three to six times more data, and exceeds MobileLLM-125M's published score despite that model seeing a trillion tokens. Validation bits-per-byte is 0.8685. To check the architecture rather than the training recipe, we trained a conventional all-attention model of the same size on the same data, and wrote down the winning condition before scoring either. The hybrid won the chosen quality metric by 0.81%, matched it on downstream tasks, produced a 6.3% smaller 4-bit file, and decoded 1.76x faster at 2048 tokens of context, 2.08x against an external model of similar size. In every measurement the speed advantage is near zero at an empty context and grows with length, which is what the mechanism predicts and what a merely leaner model would not show. A simple bandwidth calculation predicts only 1.17x, so memory volume alone does not explain the gap. We also report what did not work: an unmitigated 4-bit quality cost, roughly half the convolution channels ending up inert and impossible to remove, and a vocabulary larger than this model size warrants.