手動デコードの終焉：真のエンドツーエンド言語モデルを目指して

要旨

LLMに付けられる「エンドツーエンド」というラベルは誤称である。実際には、それらは非微分可能なデコードプロセスに依存しており、温度やtop-pのようなハイパーパラメータの煩雑な手動調整を必要とする。本論文では、真に「エンドツーエンド」な生成を可能にする新規アーキテクチャであるAutoDecoを提案する。AutoDecoは、標準的なトランスフォーマーに軽量なヘッドを追加し、各ステップで次のトークンの対数尤度とともに、文脈に応じた温度とtop-pの値を動的に予測する。このアプローチにより、デコーディングをパラメトリックなトークンレベルのプロセスへと変換し、モデルが単一のフォワードパス内で自身のサンプリング戦略を自己調整できるようにする。 8つのベンチマークを用いた広範な実験を通じて、AutoDecoが単にデフォルトのデコード戦略を大幅に上回るだけでなく、「テストセットをハッキングする」ことで得られる実用的な上限値であるオラクル調整ベースラインに匹敵する性能を達成することを実証した。決定的には、指示に基づくデコード制御という創発的な能力を発見した。モデルは自然言語の命令（例：「低いランダム性で生成せよ」）を解釈して学習し、トークン単位で予測される温度とtop-pを調整する。これは、ステアラブルで対話的なLLMデコーディングの新たなパラダイムを開くものである。

English

The "end-to-end" label for LLMs is a misnomer. In practice, they depend on a non-differentiable decoding process that requires laborious, hand-tuning of hyperparameters like temperature and top-p. This paper introduces AutoDeco, a novel architecture that enables truly "end-to-end" generation by learning to control its own decoding strategy. We augment the standard transformer with lightweight heads that, at each step, dynamically predict context-specific temperature and top-p values alongside the next-token logits. This approach transforms decoding into a parametric, token-level process, allowing the model to self-regulate its sampling strategy within a single forward pass. Through extensive experiments on eight benchmarks, we demonstrate that AutoDeco not only significantly outperforms default decoding strategies but also achieves performance comparable to an oracle-tuned baseline derived from "hacking the test set"-a practical upper bound for any static method. Crucially, we uncover an emergent capability for instruction-based decoding control: the model learns to interpret natural language commands (e.g., "generate with low randomness") and adjusts its predicted temperature and top-p on a token-by-token basis, opening a new paradigm for steerable and interactive LLM decoding.

手動デコードの終焉：真のエンドツーエンド言語モデルを目指して

The End of Manual Decoding: Towards Truly End-to-End Language Models

要旨

Support