ORION: 思考言語を用いて効率的に推論する言語モデルの教育

要旨

大規模推論モデル（LRM）は数学、コード生成、タスク計画において強力な性能を発揮するが、冗長な「思考」トークンの長い連鎖に依存するため、高レイテンシ、冗長性、非連続的な推論経路という課題を抱えている。本論文では、人間の推論が「メンタリーズ」と呼ばれる記号的で合成的な精神言語で行われるとする思考言語仮説に着想を得て、同様に圧縮された様式で推論を行うモデルを訓練するフレームワークを提案する。メンタリーズは抽象推論を超高密度・構造化トークンとして符号化し、モデルがはるかに少ないステップで複雑な問題を解決することを可能にする。効率性と正確性の両立を目指し、我々は「より短い長さを優先する最適化（SLPO）」を提案する。これは、正確性を維持した簡潔な解法を報酬としつつ、必要に応じて長い推論も許容する強化学習手法である。メンタリーズに適合したモデルにSLPOを適用した結果、計算オーバーヘッドなしに詳細な思考の利点を保持しつつ、大幅に高い圧縮率を実現した。AIME 2024/2025、MinervaMath、OlympiadBench、Math500、AMCを含むベンチマークにおいて、我々のORIONモデルは、DeepSeek R1 Distilledモデルと比較して、推論トレースのトークン数を4～16分の1に削減、推論レイテンシを最大5倍低減、訓練コストを7～9分の1に削減しつつ、その精度の90～98%を維持した。ORIONは、ClaudeやChatGPT-4oに対しても最大5%の精度向上と2倍の圧縮率維持を達成している。これらの結果は、メンタリーズ様式の圧縮推論が、人間に似た認知的効率性への一歩を示し、精度を犠牲にすることなく、リアルタイムでコスト効率の高い推論を実現することを示唆している。

English

Large Reasoning Models (LRMs) achieve strong performance in mathematics, code generation, and task planning, but their reliance on long chains of verbose "thinking" tokens leads to high latency, redundancy, and incoherent reasoning paths. Inspired by the Language of Thought Hypothesis, which posits that human reasoning operates over a symbolic, compositional mental language called Mentalese, we introduce a framework that trains models to reason in a similarly compact style. Mentalese encodes abstract reasoning as ultra-compressed, structured tokens, enabling models to solve complex problems with far fewer steps. To improve both efficiency and accuracy, we propose SHORTER LENGTH PREFERENCE OPTIMIZATION (SLPO), a reinforcement learning method that rewards concise solutions that stay correct, while still allowing longer reasoning when needed. Applied to Mentalese-aligned models, SLPO yields significantly higher compression rates by enabling concise reasoning that preserves the benefits of detailed thinking without the computational overhead. Across benchmarks including AIME 2024 and 2025, MinervaMath, OlympiadBench, Math500, and AMC, our ORION models produce reasoning traces with 4-16x fewer tokens, achieve up to 5x lower inference latency, and reduce training costs by 7-9x relative to the DeepSeek R1 Distilled model, while maintaining 90-98% of its accuracy. ORION also surpasses Claude and ChatGPT-4o by up to 5% in accuracy while maintaining 2x compression. These results show that Mentalese-style compressed reasoning offers a step toward human-like cognitive efficiency, enabling real-time, cost-effective reasoning without sacrificing accuracy.

ORION: 思考言語を用いて効率的に推論する言語モデルの教育

ORION: Teaching Language Models to Reason Efficiently in the Language of Thought

要旨

Support