Universal Reasoner: Ein einzelner, komponierbarer Plug-and-Play-Reasoner für eingefrorene LLMs

Universal Reasoner: A Single, Composable Plug-and-Play Reasoner for Frozen LLMs

May 25, 2025

papers.authors: Jaemin Kim, Hangeol Chang, Hyunmin Hwang, Choonghan Kim, Jong Chul Ye

cs.AI

papers.abstract

Große Sprachmodelle (LLMs) haben bemerkenswerte allgemeine Fähigkeiten gezeigt, doch die Verbesserung von Fähigkeiten wie dem logischen Denken erfordert oft erhebliche Rechenressourcen und kann ihre Generalisierungsfähigkeit beeinträchtigen. Während Parameter-Efficient Fine-Tuning (PEFT)-Methoden eine ressourcenschonendere Alternative bieten, erfordern sie typischerweise eine erneute Anpassung für jedes LLM-Grundgerüst aufgrund von Architekturabhängigkeiten. Um diese Herausforderungen zu bewältigen, schlagen wir hier den Universal Reasoner (UniR) vor – ein einzelnes, leichtgewichtiges, komponierbares und Plug-and-Play-fähiges Modul für logisches Denken, das mit jedem eingefrorenen LLM verwendet werden kann, um es mit spezialisierten Denkfähigkeiten auszustatten. Konkret zerlegt UniR die Belohnung in ein eigenständiges Denkmodul, das unabhängig mit vordefinierten Belohnungen trainiert wird und so Trajektorien-Signale effektiv in Token-Level-Anleitungen übersetzt. Einmal trainiert, kann UniR mit jedem eingefrorenen LLM zur Inferenzzeit kombiniert werden, indem einfach seine Ausgabe-Logits zu denen des LLM-Grundgerüsts addiert werden. Diese additive Struktur ermöglicht auf natürliche Weise eine modulare Komposition: Mehrere UniR-Module, die für verschiedene Aufgaben trainiert wurden, können gemeinsam angewendet werden, indem ihre Logits summiert werden, was komplexes Denken durch Komposition ermöglicht. Experimentelle Ergebnisse zu mathematischem Denken und maschineller Übersetzung zeigen, dass UniR bestehende Baseline-Fine-Tuning-Methoden mit dem Llama3.2-Modell deutlich übertrifft. Darüber hinaus zeigt UniR eine starke schwache-zu-starke Generalisierung: Denkmodule, die auf kleineren Modellen trainiert wurden, leiten viel größere LLMs effektiv an. Dies macht UniR zu einer kosteneffizienten, anpassungsfähigen und robusten Lösung zur Verbesserung des logischen Denkens in LLMs, ohne deren Kernfähigkeiten zu beeinträchtigen. Der Code ist unter https://github.com/hangeol/UniR open-source verfügbar.

English

Large Language Models (LLMs) have demonstrated remarkable general capabilities, but enhancing skills such as reasoning often demands substantial computational resources and may compromise their generalization. While Parameter-Efficient Fine-Tuning (PEFT) methods offer a more resource-conscious alternative, they typically requires retraining for each LLM backbone due to architectural dependencies. To address these challenges, here we propose Universal Reasoner (UniR) - a single, lightweight, composable, and plug-and-play reasoning module that can be used with any frozen LLM to endow it with specialized reasoning capabilities. Specifically, UniR decomposes the reward into a standalone reasoning module that is trained independently using predefined rewards, effectively translating trajectory-level signals into token-level guidance. Once trained, UniR can be combined with any frozen LLM at inference time by simply adding its output logits to those of the LLM backbone. This additive structure naturally enables modular composition: multiple UniR modules trained for different tasks can be jointly applied by summing their logits, enabling complex reasoning via composition. Experimental results on mathematical reasoning and machine translation tasks show that UniR significantly outperforms existing baseline fine-tuning methods using the Llama3.2 model. Furthermore, UniR demonstrates strong weak-to-strong generalization: reasoning modules trained on smaller models effectively guide much larger LLMs. This makes UniR a cost-efficient, adaptable, and robust solution for enhancing reasoning in LLMs without compromising their core capabilities. Code is open-sourced at https://github.com/hangeol/UniR