Razonador Universal: Un Razonador Único, Componible y Plug-and-Play para LLMs Congelados

Universal Reasoner: A Single, Composable Plug-and-Play Reasoner for Frozen LLMs

May 25, 2025

Autores: Jaemin Kim, Hangeol Chang, Hyunmin Hwang, Choonghan Kim, Jong Chul Ye

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) han demostrado capacidades generales notables, pero mejorar habilidades como el razonamiento a menudo requiere recursos computacionales sustanciales y puede comprometer su generalización. Si bien los métodos de Ajuste Fino Eficiente en Parámetros (PEFT, por sus siglas en inglés) ofrecen una alternativa más consciente de los recursos, generalmente requieren reentrenamiento para cada arquitectura de LLM debido a dependencias arquitectónicas. Para abordar estos desafíos, aquí proponemos el Razonador Universal (UniR): un módulo único, ligero, componible y plug-and-play de razonamiento que puede utilizarse con cualquier LLM congelado para dotarlo de capacidades de razonamiento especializadas. Específicamente, UniR descompone la recompensa en un módulo de razonamiento independiente que se entrena de manera autónoma utilizando recompensas predefinidas, traduciendo efectivamente señales a nivel de trayectoria en guías a nivel de token. Una vez entrenado, UniR puede combinarse con cualquier LLM congelado durante la inferencia simplemente sumando sus logits a los de la arquitectura base del LLM. Esta estructura aditiva permite naturalmente la composición modular: múltiples módulos UniR entrenados para diferentes tareas pueden aplicarse conjuntamente sumando sus logits, lo que posibilita un razonamiento complejo mediante composición. Los resultados experimentales en tareas de razonamiento matemático y traducción automática muestran que UniR supera significativamente los métodos de ajuste fino existentes utilizando el modelo Llama3.2. Además, UniR demuestra una fuerte generalización de débil a fuerte: los módulos de razonamiento entrenados en modelos más pequeños guían eficazmente LLMs mucho más grandes. Esto convierte a UniR en una solución rentable, adaptable y robusta para mejorar el razonamiento en LLMs sin comprometer sus capacidades principales. El código está disponible en https://github.com/hangeol/UniR.

English

Large Language Models (LLMs) have demonstrated remarkable general capabilities, but enhancing skills such as reasoning often demands substantial computational resources and may compromise their generalization. While Parameter-Efficient Fine-Tuning (PEFT) methods offer a more resource-conscious alternative, they typically requires retraining for each LLM backbone due to architectural dependencies. To address these challenges, here we propose Universal Reasoner (UniR) - a single, lightweight, composable, and plug-and-play reasoning module that can be used with any frozen LLM to endow it with specialized reasoning capabilities. Specifically, UniR decomposes the reward into a standalone reasoning module that is trained independently using predefined rewards, effectively translating trajectory-level signals into token-level guidance. Once trained, UniR can be combined with any frozen LLM at inference time by simply adding its output logits to those of the LLM backbone. This additive structure naturally enables modular composition: multiple UniR modules trained for different tasks can be jointly applied by summing their logits, enabling complex reasoning via composition. Experimental results on mathematical reasoning and machine translation tasks show that UniR significantly outperforms existing baseline fine-tuning methods using the Llama3.2 model. Furthermore, UniR demonstrates strong weak-to-strong generalization: reasoning modules trained on smaller models effectively guide much larger LLMs. This makes UniR a cost-efficient, adaptable, and robust solution for enhancing reasoning in LLMs without compromising their core capabilities. Code is open-sourced at https://github.com/hangeol/UniR