R2R: Effiziente Navigation divergenter Denkpfade durch Token-Routing zwischen kleinen und großen Modellen

R2R: Efficiently Navigating Divergent Reasoning Paths with Small-Large Model Token Routing

May 27, 2025

Autoren: Tianyu Fu, Yi Ge, Yichen You, Enshu Liu, Zhihang Yuan, Guohao Dai, Shengen Yan, Huazhong Yang, Yu Wang

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) erreichen beeindruckende Fähigkeiten im logischen Denken, jedoch auf Kosten eines erheblichen Inferenzaufwands, was erhebliche Herausforderungen bei der Bereitstellung mit sich bringt. Obwohl destillierte Kleine Sprachmodelle (SLMs) die Effizienz deutlich steigern, leidet ihre Leistung, da sie die Denkpfade der LLMs nicht nachvollziehen können. Glücklicherweise zeigen wir, dass nur ein kleiner Bruchteil der Token tatsächlich die Denkpfade zwischen LLMs und SLMs divergieren lässt. Die meisten generierten Token sind entweder identisch oder weisen neutrale Unterschiede auf, wie geringfügige Abweichungen in Abkürzungen oder Ausdrücken. Basierend auf dieser Erkenntnis führen wir **Roads to Rome (R2R)** ein, eine neuronale Token-Routing-Methode, die LLMs selektiv nur für diese kritischen, pfaddivergenten Token nutzt, während die Mehrheit der Token-Generierung dem SLM überlassen bleibt. Wir entwickeln außerdem eine automatische Daten-Generierungspipeline, die divergente Token identifiziert und Token-Level-Routing-Labels erzeugt, um den leichtgewichtigen Router zu trainieren. Wir wenden R2R an, um die R1-1.5B- und R1-32B-Modelle aus der DeepSeek-Familie zu kombinieren, und evaluieren sie anspruchsvollen Benchmarks in den Bereichen Mathematik, Programmierung und Frage-Antwort. Mit einer durchschnittlich aktivierten Parametergröße von 5,6B übertrifft R2R die durchschnittliche Genauigkeit von R1-7B um das 1,6-fache und übertrifft sogar das R1-14B-Modell. Im Vergleich zu R1-32B erreicht es eine 2,8-fache Beschleunigung der Echtzeit bei vergleichbarer Leistung und verbessert die Pareto-Front der Skalierungseffizienz zur Testzeit. Unser Code ist verfügbar unter https://github.com/thu-nics/R2R.

English

Large Language Models (LLMs) achieve impressive reasoning capabilities at the cost of substantial inference overhead, posing substantial deployment challenges. Although distilled Small Language Models (SLMs) significantly enhance efficiency, their performance suffers as they fail to follow LLMs' reasoning paths. Luckily, we reveal that only a small fraction of tokens genuinely diverge reasoning paths between LLMs and SLMs. Most generated tokens are either identical or exhibit neutral differences, such as minor variations in abbreviations or expressions. Leveraging this insight, we introduce **Roads to Rome (R2R)**, a neural token routing method that selectively utilizes LLMs only for these critical, path-divergent tokens, while leaving the majority of token generation to the SLM. We also develop an automatic data generation pipeline that identifies divergent tokens and generates token-level routing labels to train the lightweight router. We apply R2R to combine R1-1.5B and R1-32B models from the DeepSeek family, and evaluate on challenging math, coding, and QA benchmarks. With an average activated parameter size of 5.6B, R2R surpasses the average accuracy of R1-7B by 1.6x, outperforming even the R1-14B model. Compared to R1-32B, it delivers a 2.8x wall-clock speedup with comparable performance, advancing the Pareto frontier of test-time scaling efficiency. Our code is available at https://github.com/thu-nics/R2R.