賢く、かつ低コストに：バイト完全一致KVキャッシュ移植が凍結小規模モデルを検証済み知識のフライホイールへと変える

要旨

本稿では、重みを一切変更することなく、凍結された小型言語モデルを同時により高性能かつ劇的に低コストにする手法を報告する。検証済みの知識は、一度バイト完全なキー値（KV）状態アーティファクトとして格納され、後に移植によって新たな推論コンテキストに復元される。この復元はビット完全である。すなわち、固定された決定論的構成下では、移植されたロジットは新たに計算されたものとバイト単位で同一（SHA-256一致）となり、KLダイバージェンスはゼロ、50サンプルにわたるargmax一致率は100%となる。浮動小数点回転エンコーディングを使用するモデルにおいて、同一位置への移植が唯一の数値的に厳密な動作点であることを示し、2つのモデル規模（12B、31B）と2つのGPUターゲット（うち1つは事前登録されたリプレイ経由）でバイト完全性を検証する。AIME 2025において、凍結されたGemma-4-12Bは、検証済みの解答ライブラリを移植することで80.0%から93.3%に向上し、これは同モデルの公開ベースライン77.5%および31B版の89.2%を上回る。反復的な問題では、ベースモデルが401,026トークンの予算内で決して解けない8つの問題が、キャッシュされた検証済み解答からわずか61トークンのデコードで回答され、これはトークン数で約6,574分の1、エネルギーで約8,700分の1の削減となる。能力の主張自体は、保持された転送タスク（31Bで7件中7件）に基づく。同一のバイト完全ストアは、利用可能なコンテキストを追加のアクセラレータメモリゼロで32,768トークンから2,854,766トークンに拡張し、同一アーキテクチャのマシン間でバイト単位の同一性を維持する。本システムを行動レベルで記述する。エンジンはプロプライエタリであり、報告されたすべての数値はコミットされた入力および出力ハッシュによって裏付けられているため、スコアリングはエンジンなしで再検証可能である。

English

We report a way to make a frozen small language model both more capable and dramatically cheaper at once, without changing any weights. Verified knowledge is deposited once as a byte-exact key-value (KV) state artifact and later restored, by graft, into a fresh inference context. The restore is bit-exact: under a pinned deterministic configuration, the grafted logits are byte-for-byte identical to a fresh computation (SHA-256 equality), with zero KL divergence and 100% argmax agreement over fifty samples. We show that own-position graft is the unique numerically exact operating point on a model with floating-point rotary encoding, and we verify byte-exactness on two model scales (12B, 31B) and two GPU targets, one through a pre-registered replay. On AIME 2025, a frozen Gemma-4-12B moves from 80.0% to 93.3% once a verified solution library is grafted, above its own 77.5% and its 31B sibling's 89.2% published anchors. On the recurring case, eight problems the base model never solves within a 401,026-token budget are answered from cached verified solutions in 61 total decode tokens, a factor of 6,574 fewer tokens and about 8,700x less energy; the capability claim proper rests on held-out transfer (7 of 7 at 31B). The same byte-exact store widens usable context from 32,768 to 2,854,766 tokens at zero extra accelerator memory, and moves byte-identical between machines of the same architecture. We describe the system at the behavior level; the engine is proprietary, and every reported number is backed by committed input and output hashes so the scoring can be re-checked without it.