Pensamiento Suave: Desbloqueando el Potencial de Razonamiento de los LLMs en Espacios de Conceptos Continuos

Soft Thinking: Unlocking the Reasoning Potential of LLMs in Continuous Concept Space

May 21, 2025

Autores: Zhen Zhang, Xuehai He, Weixiang Yan, Ao Shen, Chenyang Zhao, Shuohang Wang, Yelong Shen, Xin Eric Wang

cs.AI

Resumen

La cognición humana generalmente implica pensar a través de conceptos abstractos y fluidos en lugar de utilizar estrictamente tokens lingüísticos discretos. Sin embargo, los modelos de razonamiento actuales están limitados a razonar dentro de los límites del lenguaje humano, procesando embeddings de tokens discretos que representan puntos fijos en el espacio semántico. Esta restricción discreta limita el poder expresivo y el potencial máximo de dichos modelos de razonamiento, lo que a menudo provoca una exploración incompleta de las rutas de razonamiento, ya que los métodos estándar de Cadena de Pensamiento (CoT) dependen de muestrear un token por paso. En este trabajo, presentamos Soft Thinking, un método sin entrenamiento que emula el razonamiento "suave" similar al humano generando tokens de conceptos abstractos y suaves en un espacio de conceptos continuo. Estos tokens de conceptos se crean mediante la mezcla ponderada por probabilidad de embeddings de tokens, que forman el espacio de conceptos continuo, permitiendo transiciones suaves y representaciones más ricas que trascienden los límites discretos tradicionales. En esencia, cada token de concepto generado encapsula múltiples significados de tokens discretos relacionados, explorando implícitamente varias rutas de razonamiento para converger efectivamente hacia la respuesta correcta. Las evaluaciones empíricas en diversos benchmarks matemáticos y de codificación demuestran consistentemente la efectividad y eficiencia de Soft Thinking, mejorando la precisión pass@1 hasta en 2.48 puntos mientras se reduce el uso de tokens hasta en un 22.4% en comparación con CoT estándar. El análisis cualitativo revela además que las salidas de Soft Thinking siguen siendo altamente interpretables y legibles, destacando el potencial de Soft Thinking para romper el cuello de botella inherente al razonamiento basado en lenguaje discreto. El código está disponible en https://github.com/eric-ai-lab/Soft-Thinking.

English

Human cognition typically involves thinking through abstract, fluid concepts rather than strictly using discrete linguistic tokens. Current reasoning models, however, are constrained to reasoning within the boundaries of human language, processing discrete token embeddings that represent fixed points in the semantic space. This discrete constraint restricts the expressive power and upper potential of such reasoning models, often causing incomplete exploration of reasoning paths, as standard Chain-of-Thought (CoT) methods rely on sampling one token per step. In this work, we introduce Soft Thinking, a training-free method that emulates human-like "soft" reasoning by generating soft, abstract concept tokens in a continuous concept space. These concept tokens are created by the probability-weighted mixture of token embeddings, which form the continuous concept space, enabling smooth transitions and richer representations that transcend traditional discrete boundaries. In essence, each generated concept token encapsulates multiple meanings from related discrete tokens, implicitly exploring various reasoning paths to converge effectively toward the correct answer. Empirical evaluations on diverse mathematical and coding benchmarks consistently demonstrate the effectiveness and efficiency of Soft Thinking, improving pass@1 accuracy by up to 2.48 points while simultaneously reducing token usage by up to 22.4% compared to standard CoT. Qualitative analysis further reveals that Soft Thinking outputs remain highly interpretable and readable, highlighting the potential of Soft Thinking to break the inherent bottleneck of discrete language-based reasoning. Code is available at https://github.com/eric-ai-lab/Soft-Thinking.