ORION: Enseñando a los Modelos de Lenguaje a Razonar de Manera Eficiente en el Lenguaje del Pensamiento

ORION: Teaching Language Models to Reason Efficiently in the Language of Thought

November 28, 2025

Autores: Kumar Tanmay, Kriti Aggarwal, Paul Pu Liang, Subhabrata Mukherjee

cs.AI

Resumen

Los Modelos de Razonamiento a Gran Escala (LRM) logran un rendimiento sólido en matemáticas, generación de código y planificación de tareas, pero su dependencia de largas cadenas de tokens verbosos de "pensamiento" conlleva una alta latencia, redundancia y trayectorias de razonamiento incoherentes. Inspirados por la Hipótesis del Lenguaje del Pensamiento, que postula que el razonamiento humano opera sobre un lenguaje mental simbólico y compositivo llamado Mentalés, presentamos un marco que entrena a los modelos para razonar en un estilo igualmente compacto. El Mentalés codifica el razonamiento abstracto como tokens ultracomprimidos y estructurados, permitiendo a los modelos resolver problemas complejos con muchos menos pasos. Para mejorar tanto la eficiencia como la precisión, proponemos la OPTIMIZACIÓN DE PREFERENCIA POR LONGITUD REDUCIDA (SLPO), un método de aprendizaje por refuerzo que premia soluciones concisas que mantienen la corrección, permitiendo al mismo tiempo un razonamiento más extenso cuando sea necesario. Aplicado a modelos alineados con el Mentalés, SLPO produce tasas de compresión significativamente más altas al permitir un razonamiento conciso que preserva los beneficios del pensamiento detallado sin la sobrecarga computacional. En diversos benchmarks, como AIME 2024 y 2025, MinervaMath, OlympiadBench, Math500 y AMC, nuestros modelos ORION producen trazas de razonamiento con 4-16 veces menos tokens, logran una latencia de inferencia hasta 5 veces menor y reducen los costes de entrenamiento entre 7 y 9 veces en comparación con el modelo DeepSeek R1 Distilled, manteniendo entre el 90% y el 98% de su precisión. ORION también supera a Claude y ChatGPT-4o hasta en un 5% en precisión, manteniendo una compresión de 2x. Estos resultados demuestran que el razonamiento comprimido al estilo del Mentalés supone un paso hacia la eficiencia cognitiva similar a la humana, permitiendo un razonamiento en tiempo real y rentable sin sacrificar la precisión.

English

Large Reasoning Models (LRMs) achieve strong performance in mathematics, code generation, and task planning, but their reliance on long chains of verbose "thinking" tokens leads to high latency, redundancy, and incoherent reasoning paths. Inspired by the Language of Thought Hypothesis, which posits that human reasoning operates over a symbolic, compositional mental language called Mentalese, we introduce a framework that trains models to reason in a similarly compact style. Mentalese encodes abstract reasoning as ultra-compressed, structured tokens, enabling models to solve complex problems with far fewer steps. To improve both efficiency and accuracy, we propose SHORTER LENGTH PREFERENCE OPTIMIZATION (SLPO), a reinforcement learning method that rewards concise solutions that stay correct, while still allowing longer reasoning when needed. Applied to Mentalese-aligned models, SLPO yields significantly higher compression rates by enabling concise reasoning that preserves the benefits of detailed thinking without the computational overhead. Across benchmarks including AIME 2024 and 2025, MinervaMath, OlympiadBench, Math500, and AMC, our ORION models produce reasoning traces with 4-16x fewer tokens, achieve up to 5x lower inference latency, and reduce training costs by 7-9x relative to the DeepSeek R1 Distilled model, while maintaining 90-98% of its accuracy. ORION also surpasses Claude and ChatGPT-4o by up to 5% in accuracy while maintaining 2x compression. These results show that Mentalese-style compressed reasoning offers a step toward human-like cognitive efficiency, enabling real-time, cost-effective reasoning without sacrificing accuracy.