ORION: Insegnare ai Modelli Linguistici a Ragionare Efficientemente nel Linguaggio del Pensiero

ORION: Teaching Language Models to Reason Efficiently in the Language of Thought

November 28, 2025

Autori: Kumar Tanmay, Kriti Aggarwal, Paul Pu Liang, Subhabrata Mukherjee

cs.AI

Abstract

I Large Reasoning Model (LRM) ottengono prestazioni eccellenti in matematica, generazione di codice e pianificazione di compiti, ma la loro dipendenza da lunghe catene di token di "ragionamento" verbosi comporta alta latenza, ridondanza e percorsi di ragionamento incoerenti. Ispirati dalla Teoria del Linguaggio del Pensiero, che postula che il ragionamento umano operi su un linguaggio mentale simbolico e composizionale chiamato Mentalese, introduciamo un framework che addestra i modelli a ragionare in uno stile altrettanto compatto. Il Mentalese codifica il ragionamento astratto come token ultra-compressi e strutturati, permettendo ai modelli di risolvere problemi complessi con un numero di passaggi di gran lunga inferiore. Per migliorare sia l'efficienza che l'accuratezza, proponiamo lo SHORTER LENGTH PREFERENCE OPTIMIZATION (SLPO), un metodo di apprendimento per rinforzo che premia soluzioni concise ma corrette, pur consentendo ragionamenti più lunghi quando necessario. Applicato a modelli allineati al Mentalese, SLPO produce tassi di compressione significativamente più alti, abilitando un ragionamento conciso che preserva i vantaggi del pensiero dettagliato senza il sovraccarico computazionale. Su benchmark come AIME 2024 e 2025, MinervaMath, OlympiadBench, Math500 e AMC, i nostri modelli ORION producono tracce di ragionamento con 4-16 volte meno token, raggiungono una latenza inferiore fino a 5 volte e riducono i costi di addestramento di 7-9 volte rispetto al modello DeepSeek R1 Distilled, mantenendo il 90-98% della sua accuratezza. ORION supera anche Claude e ChatGPT-4o fino al 5% in accuratezza, mantenendo una compressione di 2 volte. Questi risultati dimostrano che il ragionamento compresso in stile Mentalese rappresenta un passo verso l'efficienza cognitiva simile a quella umana, consentendo un ragionamento in tempo reale e conveniente senza sacrificare l'accuratezza.

English

Large Reasoning Models (LRMs) achieve strong performance in mathematics, code generation, and task planning, but their reliance on long chains of verbose "thinking" tokens leads to high latency, redundancy, and incoherent reasoning paths. Inspired by the Language of Thought Hypothesis, which posits that human reasoning operates over a symbolic, compositional mental language called Mentalese, we introduce a framework that trains models to reason in a similarly compact style. Mentalese encodes abstract reasoning as ultra-compressed, structured tokens, enabling models to solve complex problems with far fewer steps. To improve both efficiency and accuracy, we propose SHORTER LENGTH PREFERENCE OPTIMIZATION (SLPO), a reinforcement learning method that rewards concise solutions that stay correct, while still allowing longer reasoning when needed. Applied to Mentalese-aligned models, SLPO yields significantly higher compression rates by enabling concise reasoning that preserves the benefits of detailed thinking without the computational overhead. Across benchmarks including AIME 2024 and 2025, MinervaMath, OlympiadBench, Math500, and AMC, our ORION models produce reasoning traces with 4-16x fewer tokens, achieve up to 5x lower inference latency, and reduce training costs by 7-9x relative to the DeepSeek R1 Distilled model, while maintaining 90-98% of its accuracy. ORION also surpasses Claude and ChatGPT-4o by up to 5% in accuracy while maintaining 2x compression. These results show that Mentalese-style compressed reasoning offers a step toward human-like cognitive efficiency, enabling real-time, cost-effective reasoning without sacrificing accuracy.