Конец ручного декодирования: на пути к по-настоящему сквозным языковым моделям

The End of Manual Decoding: Towards Truly End-to-End Language Models

October 30, 2025

Авторы: Zhichao Wang, Dongyang Ma, Xinting Huang, Deng Cai, Tian Lan, Jiahao Xu, Haitao Mi, Xiaoying Tang, Yan Wang

cs.AI

Аннотация

Маркировка LLM как «сквозных» (end-to-end) является некорректной. На практике они зависят от недифференцируемого процесса декодирования, требующего трудоёмкой ручной настройки гиперпараметров, таких как температура и top-p. В данной статье представлена AutoDeco — новая архитектура, которая обеспечивает по-настоящему «сквозное» генеративное моделирование за счёт обучения управлению собственной стратегией декодирования. Мы дополняем стандартный трансформер лёгкими выходными слоями, которые на каждом шаге динамически предсказывают контекстно-зависимые значения температуры и top-p вместе с логитами следующего токена. Такой подход превращает декодирование в параметрический процесс на уровне токенов, позволяя модели саморегулировать стратегию сэмплирования за один прямой проход. В результате масштабных экспериментов на восьми бенчмарках мы показываем, что AutoDeco не только существенно превосходит стандартные стратегии декодирования, но и достигает результатов, сопоставимых с подобранным вручную оракулом-бейзлайном, полученным путём «взлома тестового набора» — практического верхнего предела для любого статического метода. Важнее всего, что мы обнаружили emergent-способность к управлению декодированием на основе инструкций: модель учится интерпретировать команды на естественном языке (например, «генерировать с низкой случайностью») и подстраивать предсказываемые температуру и top-p на уровне отдельных токенов, открывая новую парадигму для управляемого и интерактивного декодирования в LLM.

English

The "end-to-end" label for LLMs is a misnomer. In practice, they depend on a non-differentiable decoding process that requires laborious, hand-tuning of hyperparameters like temperature and top-p. This paper introduces AutoDeco, a novel architecture that enables truly "end-to-end" generation by learning to control its own decoding strategy. We augment the standard transformer with lightweight heads that, at each step, dynamically predict context-specific temperature and top-p values alongside the next-token logits. This approach transforms decoding into a parametric, token-level process, allowing the model to self-regulate its sampling strategy within a single forward pass. Through extensive experiments on eight benchmarks, we demonstrate that AutoDeco not only significantly outperforms default decoding strategies but also achieves performance comparable to an oracle-tuned baseline derived from "hacking the test set"-a practical upper bound for any static method. Crucially, we uncover an emergent capability for instruction-based decoding control: the model learns to interpret natural language commands (e.g., "generate with low randomness") and adjusts its predicted temperature and top-p on a token-by-token basis, opening a new paradigm for steerable and interactive LLM decoding.