Мягкое мышление: раскрытие потенциала рассуждений больших языковых моделей в непрерывном пространстве концепций

Soft Thinking: Unlocking the Reasoning Potential of LLMs in Continuous Concept Space

May 21, 2025

Авторы: Zhen Zhang, Xuehai He, Weixiang Yan, Ao Shen, Chenyang Zhao, Shuohang Wang, Yelong Shen, Xin Eric Wang

cs.AI

Аннотация

Человеческое познание обычно предполагает мышление через абстрактные, гибкие концепции, а не строгое использование дискретных языковых токенов. Однако современные модели рассуждений ограничены рамками человеческого языка, обрабатывая дискретные вложения токенов, которые представляют фиксированные точки в семантическом пространстве. Это дискретное ограничение снижает выразительную способность и верхний потенциал таких моделей рассуждений, часто приводя к неполному исследованию путей рассуждения, поскольку стандартные методы Chain-of-Thought (CoT) полагаются на выбор одного токена на шаг. В данной работе мы представляем Soft Thinking, метод, не требующий обучения, который имитирует "мягкое" человеческое рассуждение, генерируя мягкие, абстрактные концептуальные токены в непрерывном концептуальном пространстве. Эти концептуальные токены создаются путем вероятностно-взвешенной смеси вложений токенов, которые формируют непрерывное концептуальное пространство, обеспечивая плавные переходы и более богатые представления, выходящие за традиционные дискретные границы. По сути, каждый сгенерированный концептуальный токен объединяет несколько значений из связанных дискретных токенов, неявно исследуя различные пути рассуждения для эффективного сходимости к правильному ответу. Эмпирические оценки на различных математических и кодировочных тестах последовательно демонстрируют эффективность и производительность Soft Thinking, улучшая точность pass@1 до 2,48 пунктов при одновременном снижении использования токенов до 22,4% по сравнению со стандартным CoT. Качественный анализ также показывает, что результаты Soft Thinking остаются высоко интерпретируемыми и читаемыми, подчеркивая потенциал Soft Thinking для преодоления внутреннего ограничения дискретного языкового рассуждения. Код доступен по адресу https://github.com/eric-ai-lab/Soft-Thinking.

English

Human cognition typically involves thinking through abstract, fluid concepts rather than strictly using discrete linguistic tokens. Current reasoning models, however, are constrained to reasoning within the boundaries of human language, processing discrete token embeddings that represent fixed points in the semantic space. This discrete constraint restricts the expressive power and upper potential of such reasoning models, often causing incomplete exploration of reasoning paths, as standard Chain-of-Thought (CoT) methods rely on sampling one token per step. In this work, we introduce Soft Thinking, a training-free method that emulates human-like "soft" reasoning by generating soft, abstract concept tokens in a continuous concept space. These concept tokens are created by the probability-weighted mixture of token embeddings, which form the continuous concept space, enabling smooth transitions and richer representations that transcend traditional discrete boundaries. In essence, each generated concept token encapsulates multiple meanings from related discrete tokens, implicitly exploring various reasoning paths to converge effectively toward the correct answer. Empirical evaluations on diverse mathematical and coding benchmarks consistently demonstrate the effectiveness and efficiency of Soft Thinking, improving pass@1 accuracy by up to 2.48 points while simultaneously reducing token usage by up to 22.4% compared to standard CoT. Qualitative analysis further reveals that Soft Thinking outputs remain highly interpretable and readable, highlighting the potential of Soft Thinking to break the inherent bottleneck of discrete language-based reasoning. Code is available at https://github.com/eric-ai-lab/Soft-Thinking.