Tokens Suaves, Verdades Crudas

Soft Tokens, Hard Truths

September 23, 2025

Autores: Natasha Butt, Ariel Kwiatkowski, Ismail Labiad, Julia Kempe, Yann Ollivier

cs.AI

Resumen

El uso de tokens continuos en lugar de discretos durante la fase de razonamiento de Cadena de Pensamiento (CoT, por sus siglas en inglés) en modelos de lenguaje grandes (LLMs) ha captado atención recientemente, basado en la intuición de que una mezcla continua de tokens discretos podría simular una superposición de varias rutas de razonamiento simultáneamente. Resultados teóricos han demostrado formalmente que los tokens continuos tienen una expresividad mucho mayor y pueden resolver problemas específicos de manera más eficiente. Sin embargo, el uso práctico de tokens continuos ha sido limitado por fuertes dificultades en el entrenamiento: trabajos previos o bien utilizan tokens continuos únicamente en tiempo de inferencia sobre un modelo preentrenado con tokens discretos, o deben destilar la CoT continua a partir de CoTs discretas de referencia y enfrentan costos computacionales que limitan la CoT a muy pocos tokens. Este es el primer trabajo que introduce un método escalable para aprender CoTs continuas mediante aprendizaje por refuerzo (RL, por sus siglas en inglés), sin destilar a partir de CoTs discretas de referencia. Utilizamos tokens "suaves": mezclas de tokens junto con ruido en la incrustación de entrada para proporcionar exploración en RL. La sobrecarga computacional es mínima, lo que nos permite aprender CoTs continuas con cientos de tokens. En benchmarks de razonamiento matemático con modelos Llama y Qwen de hasta 8B, el entrenamiento con CoTs continuas iguala a las CoTs de tokens discretos en pass@1 y las supera en pass@32, mostrando una mayor diversidad en la CoT. En comparaciones sistemáticas, el escenario de mejor rendimiento es entrenar con tokens de CoT continua y luego usar tokens discretos para la inferencia, lo que significa que los modelos "suaves" pueden implementarse de manera estándar. Finalmente, demostramos que el entrenamiento de RL con CoT continua preserva mejor las predicciones del modelo base en tareas fuera de dominio, proporcionando así un toque más suave al modelo base.

English

The use of continuous instead of discrete tokens during the Chain-of-Thought (CoT) phase of reasoning LLMs has garnered attention recently, based on the intuition that a continuous mixture of discrete tokens could simulate a superposition of several reasoning paths simultaneously. Theoretical results have formally proven that continuous tokens have much greater expressivity and can solve specific problems more efficiently. However, practical use of continuous tokens has been limited by strong training difficulties: previous works either just use continuous tokens at inference time on a pre-trained discrete-token model, or must distill the continuous CoT from ground-truth discrete CoTs and face computational costs that limit the CoT to very few tokens. This is the first work introducing a scalable method to learn continuous CoTs via reinforcement learning (RL), without distilling from reference discrete CoTs. We use "soft" tokens: mixtures of tokens together with noise on the input embedding to provide RL exploration. Computational overhead is minimal, enabling us to learn continuous CoTs with hundreds of tokens. On math reasoning benchmarks with Llama and Qwen models up to 8B, training with continuous CoTs match discrete-token CoTs for pass@1 and surpass them for pass@32, showing greater CoT diversity. In systematic comparisons, the best-performing scenario is to train with continuous CoT tokens then use discrete tokens for inference, meaning the "soft" models can be deployed in a standard way. Finally, we show continuous CoT RL training better preserves the predictions of the base model on out-of-domain tasks, thus providing a softer touch to the base model.