ORION: Обучение языковых моделей эффективному мышлению на языке мысли

ORION: Teaching Language Models to Reason Efficiently in the Language of Thought

November 28, 2025

Авторы: Kumar Tanmay, Kriti Aggarwal, Paul Pu Liang, Subhabrata Mukherjee

cs.AI

Аннотация

Крупные модели рассуждений (LRM) демонстрируют высокую производительность в математике, генерации кода и планировании задач, однако их зависимость от длинных цепочек многословных «мыслительных» токенов приводит к высокой задержке, избыточности и несогласованным путям рассуждений. Вдохновленные гипотезой языка мысли, которая постулирует, что человеческое мышление оперирует символическим, композиционным ментальным языком, называемым ментализом, мы представляем фреймворк, который обучает модели рассуждать в аналогичном компактном стиле. Ментализ кодирует абстрактные рассуждения в виде сверхсжатых структурированных токенов, позволяя моделям решать сложные задачи за значительно меньшее количество шагов. Для повышения как эффективности, так и точности мы предлагаем ОПТИМИЗАЦИЮ ПРЕДПОЧТЕНИЯ КОРОТКОЙ ДЛИНЫ (SLPO) — метод обучения с подкреплением, который поощряет корректные и лаконичные решения, сохраняя возможность более длинных рассуждений при необходимости. Примененный к моделям, выровненным по ментализу, SLPO обеспечивает значительно более высокие степени сжатия, позволяя проводить краткие рассуждения, которые сохраняют преимущества детального мышления без вычислительных накладных расходов. На наборах данных, включая AIME 2024 и 2025, MinervaMath, OlympiadBench, Math500 и AMC, наши модели ORION генерируют цепочки рассуждений с использованием в 4–16 раз меньше токенов, демонстрируют до 5-кратного снижения задержки вывода и сокращают затраты на обучение в 7–9 раз по сравнению с моделью DeepSeek R1 Distilled, сохраняя при этом 90–98% её точности. ORION также превосходит Claude и ChatGPT-4o по точности до 5%, сохраняя 2-кратное сжатие. Эти результаты показывают, что сжатое рассуждение в стиле ментализа представляет собой шаг к человеческой когнитивной эффективности, обеспечивая рассуждения в реальном времени с низкими затратами без ущерба для точности.

English

Large Reasoning Models (LRMs) achieve strong performance in mathematics, code generation, and task planning, but their reliance on long chains of verbose "thinking" tokens leads to high latency, redundancy, and incoherent reasoning paths. Inspired by the Language of Thought Hypothesis, which posits that human reasoning operates over a symbolic, compositional mental language called Mentalese, we introduce a framework that trains models to reason in a similarly compact style. Mentalese encodes abstract reasoning as ultra-compressed, structured tokens, enabling models to solve complex problems with far fewer steps. To improve both efficiency and accuracy, we propose SHORTER LENGTH PREFERENCE OPTIMIZATION (SLPO), a reinforcement learning method that rewards concise solutions that stay correct, while still allowing longer reasoning when needed. Applied to Mentalese-aligned models, SLPO yields significantly higher compression rates by enabling concise reasoning that preserves the benefits of detailed thinking without the computational overhead. Across benchmarks including AIME 2024 and 2025, MinervaMath, OlympiadBench, Math500, and AMC, our ORION models produce reasoning traces with 4-16x fewer tokens, achieve up to 5x lower inference latency, and reduce training costs by 7-9x relative to the DeepSeek R1 Distilled model, while maintaining 90-98% of its accuracy. ORION also surpasses Claude and ChatGPT-4o by up to 5% in accuracy while maintaining 2x compression. These results show that Mentalese-style compressed reasoning offers a step toward human-like cognitive efficiency, enabling real-time, cost-effective reasoning without sacrificing accuracy.