Het Heroverwegen van Modelinterpolatie voor Efficiënte Redenering

Revisiting Model Interpolation for Efficient Reasoning

October 13, 2025

Auteurs: Taiqiang Wu, Runming Yang, Tao Liu, Jiahao Wang, Ngai Wong

cs.AI

Samenvatting

Model merging, met name op Instruct en Thinking modellen, heeft opmerkelijke prestaties getoond voor efficiënt redeneren. In dit artikel onderzoeken we systematisch de eenvoudigste merging-methode die twee gewichten direct interpoleert. In het bijzonder observeren we dat modelinterpolatie een driestaps evolutionair paradigma volgt met verschillende gedragingen op het redeneertraject. Deze dynamiek biedt een principiële leidraad voor het navigeren door de afweging tussen prestaties en kosten. Empirische resultaten tonen aan dat een strategisch geïnterpoleerd model verrassend genoeg geavanceerde modelmerging-baselines overtreft op zowel efficiëntie als effectiviteit. We valideren onze bevindingen verder met uitgebreide ablatiestudies op modellagen, modules en decodeerstrategieën. Uiteindelijk ontrafelt dit werk modelinterpolatie en biedt het een praktisch raamwerk voor het ontwerpen van modellen met precies gerichte redeneervaardigheden. Code is beschikbaar op https://github.com/wutaiqiang/MI{Github}.

English

Model merging, typically on Instruct and Thinking models, has shown remarkable performance for efficient reasoning. In this paper, we systematically revisit the simplest merging method that interpolates two weights directly. Particularly, we observe that model interpolation follows a three-stage evolutionary paradigm with distinct behaviors on the reasoning trajectory. These dynamics provide a principled guide for navigating the performance-cost trade-off. Empirical results demonstrate that a strategically interpolated model surprisingly surpasses sophisticated model merging baselines on both efficiency and effectiveness. We further validate our findings with extensive ablation studies on model layers, modules, and decoding strategies. Ultimately, this work demystifies model interpolation and offers a practical framework for crafting models with precisely targeted reasoning capabilities. Code is available at https://github.com/wutaiqiang/MI{Github}.