Token Soft, Verità Dure

Abstract

L'uso di token continui invece di token discreti durante la fase di ragionamento a catena di pensiero (Chain-of-Thought, CoT) nei modelli linguistici di grandi dimensioni (LLMs) ha attirato recentemente l'attenzione, basandosi sull'intuizione che una miscela continua di token discreti potrebbe simulare una sovrapposizione di diversi percorsi di ragionamento simultaneamente. Risultati teorici hanno formalmente dimostrato che i token continui hanno una capacità espressiva molto maggiore e possono risolvere problemi specifici in modo più efficiente. Tuttavia, l'uso pratico dei token continui è stato limitato da forti difficoltà di addestramento: lavori precedenti utilizzano i token continui solo al momento dell'inferenza su un modello pre-addestrato con token discreti, oppure devono distillare il CoT continuo da CoT discreti di riferimento e affrontano costi computazionali che limitano il CoT a un numero molto ridotto di token. Questo è il primo lavoro che introduce un metodo scalabile per apprendere CoT continui tramite apprendimento per rinforzo (Reinforcement Learning, RL), senza distillazione da CoT discreti di riferimento. Utilizziamo token "soft": miscele di token insieme a rumore sull'embedding di input per fornire esplorazione RL. Il sovraccarico computazionale è minimo, consentendoci di apprendere CoT continui con centinaia di token. Su benchmark di ragionamento matematico con modelli Llama e Qwen fino a 8B, l'addestramento con CoT continui eguaglia i CoT con token discreti per pass@1 e li supera per pass@32, mostrando una maggiore diversità nei CoT. In confronti sistematici, lo scenario con le migliori prestazioni è addestrare con token CoT continui e poi utilizzare token discreti per l'inferenza, il che significa che i modelli "soft" possono essere distribuiti in modo standard. Infine, dimostriamo che l'addestramento RL con CoT continui preserva meglio le previsioni del modello base su task fuori dominio, fornendo così un tocco più delicato al modello base.

English

The use of continuous instead of discrete tokens during the Chain-of-Thought (CoT) phase of reasoning LLMs has garnered attention recently, based on the intuition that a continuous mixture of discrete tokens could simulate a superposition of several reasoning paths simultaneously. Theoretical results have formally proven that continuous tokens have much greater expressivity and can solve specific problems more efficiently. However, practical use of continuous tokens has been limited by strong training difficulties: previous works either just use continuous tokens at inference time on a pre-trained discrete-token model, or must distill the continuous CoT from ground-truth discrete CoTs and face computational costs that limit the CoT to very few tokens. This is the first work introducing a scalable method to learn continuous CoTs via reinforcement learning (RL), without distilling from reference discrete CoTs. We use "soft" tokens: mixtures of tokens together with noise on the input embedding to provide RL exploration. Computational overhead is minimal, enabling us to learn continuous CoTs with hundreds of tokens. On math reasoning benchmarks with Llama and Qwen models up to 8B, training with continuous CoTs match discrete-token CoTs for pass@1 and surpass them for pass@32, showing greater CoT diversity. In systematic comparisons, the best-performing scenario is to train with continuous CoT tokens then use discrete tokens for inference, meaning the "soft" models can be deployed in a standard way. Finally, we show continuous CoT RL training better preserves the predictions of the base model on out-of-domain tasks, thus providing a softer touch to the base model.

Token Soft, Verità Dure

Soft Tokens, Hard Truths

Abstract

Support