ORION: Taalmodellen Leren Efficiënt te Redeneren in de Taal van het Denken
ORION: Teaching Language Models to Reason Efficiently in the Language of Thought
November 28, 2025
Auteurs: Kumar Tanmay, Kriti Aggarwal, Paul Pu Liang, Subhabrata Mukherjee
cs.AI
Samenvatting
Grote Redeneermodellen (LRM's) behalen sterke prestaties op het gebied van wiskunde, codegeneratie en taakplanning, maar hun afhankelijkheid van lange ketens van uitgebreide "denk"-tokens leidt tot hoge latentie, redundantie en onsamenhangende redeneerpaden. Geïnspireerd door de Taal-van-Het-Denken-Hypothese, die stelt dat menselijk redeneren plaatsvindt in een symbolische, compositionele mentale taal genaamd Mentalese, introduceren we een raamwerk dat modellen traint om op een vergelijkbaar compacte manier te redeneren. Mentalese codeert abstract redeneren als ultra-gecomprimeerde, gestructureerde tokens, waardoor modellen complexe problemen kunnen oplossen in veel minder stappen. Om zowel efficiëntie als nauwkeurigheid te verbeteren, stellen we SHORTER LENGTH PREFERENCE OPTIMIZATION (SLPO) voor, een reinforcement learning-methode die beknopte en correcte oplossingen beloont, terwijl langer redeneren waar nodig nog steeds mogelijk blijft. Toegepast op Met Mentalese uitgelijnde modellen, levert SLPO aanzienlijk hogere compressiepercentages op door beknopt redeneren mogelijk te maken dat de voordelen van gedetailleerd denken behoudt zonder de computationele overhead. Op benchmarks zoals AIME 2024 en 2025, MinervaMath, OlympiadBench, Math500 en AMC produceren onze ORION-modellen redeneersporen met 4-16x minder tokens, bereiken ze tot 5x lagere inferentie-latentie en verlagen ze de trainingskosten met 7-9x ten opzichte van het DeepSeek R1 Distilled-model, terwijl ze 90-98% van de nauwkeurigheid daarvan behouden. ORION overtreft tevens Claude en ChatGPT-4o met tot 5% in nauwkeurigheid bij een compressie van 2x. Deze resultaten tonen aan dat Met Mentalese-stijl gecomprimeerd redeneren een stap richting menselijke cognitieve efficiëntie biedt, waardoor real-time, kosteneffectief redeneren mogelijk wordt zonder in te leveren op nauwkeurigheid.
English
Large Reasoning Models (LRMs) achieve strong performance in mathematics, code generation, and task planning, but their reliance on long chains of verbose "thinking" tokens leads to high latency, redundancy, and incoherent reasoning paths. Inspired by the Language of Thought Hypothesis, which posits that human reasoning operates over a symbolic, compositional mental language called Mentalese, we introduce a framework that trains models to reason in a similarly compact style. Mentalese encodes abstract reasoning as ultra-compressed, structured tokens, enabling models to solve complex problems with far fewer steps. To improve both efficiency and accuracy, we propose SHORTER LENGTH PREFERENCE OPTIMIZATION (SLPO), a reinforcement learning method that rewards concise solutions that stay correct, while still allowing longer reasoning when needed. Applied to Mentalese-aligned models, SLPO yields significantly higher compression rates by enabling concise reasoning that preserves the benefits of detailed thinking without the computational overhead. Across benchmarks including AIME 2024 and 2025, MinervaMath, OlympiadBench, Math500, and AMC, our ORION models produce reasoning traces with 4-16x fewer tokens, achieve up to 5x lower inference latency, and reduce training costs by 7-9x relative to the DeepSeek R1 Distilled model, while maintaining 90-98% of its accuracy. ORION also surpasses Claude and ChatGPT-4o by up to 5% in accuracy while maintaining 2x compression. These results show that Mentalese-style compressed reasoning offers a step toward human-like cognitive efficiency, enabling real-time, cost-effective reasoning without sacrificing accuracy.