R2R: Эффективное навигация по расходящимся путям рассуждений с маршрутизацией токенов между малой и большой моделями

R2R: Efficiently Navigating Divergent Reasoning Paths with Small-Large Model Token Routing

May 27, 2025

Авторы: Tianyu Fu, Yi Ge, Yichen You, Enshu Liu, Zhihang Yuan, Guohao Dai, Shengen Yan, Huazhong Yang, Yu Wang

cs.AI

Аннотация

Крупные языковые модели (LLM) демонстрируют впечатляющие способности к рассуждению, однако это достигается за счет значительных вычислительных затрат, что создает серьезные проблемы при их развертывании. Хотя дистиллированные малые языковые модели (SLM) значительно повышают эффективность, их производительность страдает, так как они не могут следовать цепочкам рассуждений LLM. К счастью, мы обнаружили, что лишь небольшая часть токенов действительно приводит к расхождению в рассуждениях между LLM и SLM. Большинство генерируемых токенов либо идентичны, либо демонстрируют нейтральные различия, такие как незначительные вариации в сокращениях или выражениях. Используя это наблюдение, мы представляем **Roads to Rome (R2R)**, метод нейронной маршрутизации токенов, который избирательно задействует LLM только для критических, расходящихся токенов, оставляя генерацию большинства токенов на SLM. Мы также разработали автоматизированный конвейер генерации данных, который идентифицирует расходящиеся токены и создает метки маршрутизации на уровне токенов для обучения легковесного маршрутизатора. Мы применяем R2R для объединения моделей R1-1.5B и R1-32B из семейства DeepSeek и оцениваем их на сложных задачах по математике, программированию и вопросам-ответам. При среднем размере активированных параметров в 5.6B, R2R превосходит среднюю точность модели R1-7B в 1.6 раза, опережая даже модель R1-14B. По сравнению с R1-32B, она обеспечивает ускорение в 2.8 раза при сопоставимой производительности, продвигая Парето-границу эффективности масштабирования во время тестирования. Наш код доступен по адресу https://github.com/thu-nics/R2R.

English

Large Language Models (LLMs) achieve impressive reasoning capabilities at the cost of substantial inference overhead, posing substantial deployment challenges. Although distilled Small Language Models (SLMs) significantly enhance efficiency, their performance suffers as they fail to follow LLMs' reasoning paths. Luckily, we reveal that only a small fraction of tokens genuinely diverge reasoning paths between LLMs and SLMs. Most generated tokens are either identical or exhibit neutral differences, such as minor variations in abbreviations or expressions. Leveraging this insight, we introduce **Roads to Rome (R2R)**, a neural token routing method that selectively utilizes LLMs only for these critical, path-divergent tokens, while leaving the majority of token generation to the SLM. We also develop an automatic data generation pipeline that identifies divergent tokens and generates token-level routing labels to train the lightweight router. We apply R2R to combine R1-1.5B and R1-32B models from the DeepSeek family, and evaluate on challenging math, coding, and QA benchmarks. With an average activated parameter size of 5.6B, R2R surpasses the average accuracy of R1-7B by 1.6x, outperforming even the R1-14B model. Compared to R1-32B, it delivers a 2.8x wall-clock speedup with comparable performance, advancing the Pareto frontier of test-time scaling efficiency. Our code is available at https://github.com/thu-nics/R2R.