Rivalutazione dell'Interpolazione di Modelli per un Ragionamento Efficiente

Revisiting Model Interpolation for Efficient Reasoning

October 13, 2025

Autori: Taiqiang Wu, Runming Yang, Tao Liu, Jiahao Wang, Ngai Wong

cs.AI

Abstract

La fusione di modelli, tipicamente applicata a modelli di tipo Instruct e Thinking, ha dimostrato prestazioni notevoli per il ragionamento efficiente. In questo articolo, esaminiamo sistematicamente il metodo di fusione più semplice che consiste nell'interpolare direttamente due pesi. In particolare, osserviamo che l'interpolazione di modelli segue un paradigma evolutivo in tre fasi con comportamenti distinti lungo la traiettoria di ragionamento. Queste dinamiche forniscono una guida principiata per navigare il compromesso tra prestazioni e costi. I risultati empirici dimostrano che un modello interpolato strategicamente supera sorprendentemente i baseline di fusione di modelli più sofisticati sia in termini di efficienza che di efficacia. Validiamo ulteriormente le nostre scoperte con ampi studi di ablazione su strati, moduli e strategie di decodifica dei modelli. In definitiva, questo lavoro chiarisce l'interpolazione di modelli e offre un framework pratico per creare modelli con capacità di ragionamento mirate con precisione. Il codice è disponibile all'indirizzo https://github.com/wutaiqiang/MI{Github}.

English

Model merging, typically on Instruct and Thinking models, has shown remarkable performance for efficient reasoning. In this paper, we systematically revisit the simplest merging method that interpolates two weights directly. Particularly, we observe that model interpolation follows a three-stage evolutionary paradigm with distinct behaviors on the reasoning trajectory. These dynamics provide a principled guide for navigating the performance-cost trade-off. Empirical results demonstrate that a strategically interpolated model surprisingly surpasses sophisticated model merging baselines on both efficiency and effectiveness. We further validate our findings with extensive ablation studies on model layers, modules, and decoding strategies. Ultimately, this work demystifies model interpolation and offers a practical framework for crafting models with precisely targeted reasoning capabilities. Code is available at https://github.com/wutaiqiang/MI{Github}.