Tokens Suaves, Verdades Inegáveis

Resumo

O uso de tokens contínuos em vez de discretos durante a fase de Chain-of-Thought (CoT) em modelos de linguagem de grande escala (LLMs) tem chamado atenção recentemente, com base na intuição de que uma mistura contínua de tokens discretos poderia simular uma superposição de vários caminhos de raciocínio simultaneamente. Resultados teóricos comprovaram formalmente que tokens contínuos têm uma expressividade muito maior e podem resolver problemas específicos de forma mais eficiente. No entanto, o uso prático de tokens contínuos tem sido limitado por fortes dificuldades de treinamento: trabalhos anteriores ou utilizam tokens contínuos apenas no momento de inferência em um modelo pré-treinado com tokens discretos, ou precisam destilar o CoT contínuo a partir de CoTs discretos de referência, enfrentando custos computacionais que limitam o CoT a muito poucos tokens. Este é o primeiro trabalho que introduz um método escalável para aprender CoTs contínuos por meio de aprendizado por reforço (RL), sem destilar a partir de CoTs discretos de referência. Utilizamos tokens "soft": misturas de tokens juntamente com ruído na incorporação de entrada para fornecer exploração no RL. A sobrecarga computacional é mínima, permitindo-nos aprender CoTs contínuos com centenas de tokens. Em benchmarks de raciocínio matemático com modelos Llama e Qwen de até 8B, o treinamento com CoTs contínuos iguala o desempenho dos CoTs com tokens discretos em pass@1 e os supera em pass@32, mostrando uma maior diversidade de CoTs. Em comparações sistemáticas, o cenário de melhor desempenho é treinar com tokens de CoT contínuos e, em seguida, usar tokens discretos para inferência, o que significa que os modelos "soft" podem ser implantados de maneira padrão. Por fim, mostramos que o treinamento de RL com CoT contínuo preserva melhor as previsões do modelo base em tarefas fora do domínio, proporcionando assim um toque mais suave ao modelo base.

English

The use of continuous instead of discrete tokens during the Chain-of-Thought (CoT) phase of reasoning LLMs has garnered attention recently, based on the intuition that a continuous mixture of discrete tokens could simulate a superposition of several reasoning paths simultaneously. Theoretical results have formally proven that continuous tokens have much greater expressivity and can solve specific problems more efficiently. However, practical use of continuous tokens has been limited by strong training difficulties: previous works either just use continuous tokens at inference time on a pre-trained discrete-token model, or must distill the continuous CoT from ground-truth discrete CoTs and face computational costs that limit the CoT to very few tokens. This is the first work introducing a scalable method to learn continuous CoTs via reinforcement learning (RL), without distilling from reference discrete CoTs. We use "soft" tokens: mixtures of tokens together with noise on the input embedding to provide RL exploration. Computational overhead is minimal, enabling us to learn continuous CoTs with hundreds of tokens. On math reasoning benchmarks with Llama and Qwen models up to 8B, training with continuous CoTs match discrete-token CoTs for pass@1 and surpass them for pass@32, showing greater CoT diversity. In systematic comparisons, the best-performing scenario is to train with continuous CoT tokens then use discrete tokens for inference, meaning the "soft" models can be deployed in a standard way. Finally, we show continuous CoT RL training better preserves the predictions of the base model on out-of-domain tasks, thus providing a softer touch to the base model.

Tokens Suaves, Verdades Inegáveis

Soft Tokens, Hard Truths

Resumo

Support