Neubetrachtung der Modellinterpolation für effizientes Schließen

Revisiting Model Interpolation for Efficient Reasoning

October 13, 2025

papers.authors: Taiqiang Wu, Runming Yang, Tao Liu, Jiahao Wang, Ngai Wong

cs.AI

papers.abstract

Das Zusammenführen von Modellen, insbesondere bei Instruktions- und Denkmodellen, hat bemerkenswerte Leistungen für effizientes Schließen gezeigt. In diesem Papier untersuchen wir systematisch die einfachste Methode des Zusammenführens, bei der zwei Gewichte direkt interpoliert werden. Insbesondere beobachten wir, dass die Modellinterpolation einem dreistufigen evolutionären Paradigma folgt, das unterschiedliche Verhaltensweisen auf dem Schließpfad aufweist. Diese Dynamik bietet einen prinzipiellen Leitfaden, um den Kompromiss zwischen Leistung und Kosten zu navigieren. Empirische Ergebnisse zeigen, dass ein strategisch interpoliertes Modell überraschenderweise sowohl in Bezug auf Effizienz als auch Effektivität anspruchsvolle Baselines des Modellzusammenführens übertrifft. Wir validieren unsere Erkenntnisse weiterhin durch umfangreiche Ablationsstudien zu Modellschichten, -modulen und Dekodierungsstrategien. Letztlich entmystifiziert diese Arbeit die Modellinterpolation und bietet einen praktischen Rahmen zur Erstellung von Modellen mit präzise abgestimmten Schließfähigkeiten. Der Code ist verfügbar unter https://github.com/wutaiqiang/MI{Github}.

English

Model merging, typically on Instruct and Thinking models, has shown remarkable performance for efficient reasoning. In this paper, we systematically revisit the simplest merging method that interpolates two weights directly. Particularly, we observe that model interpolation follows a three-stage evolutionary paradigm with distinct behaviors on the reasoning trajectory. These dynamics provide a principled guide for navigating the performance-cost trade-off. Empirical results demonstrate that a strategically interpolated model surprisingly surpasses sophisticated model merging baselines on both efficiency and effectiveness. We further validate our findings with extensive ablation studies on model layers, modules, and decoding strategies. Ultimately, this work demystifies model interpolation and offers a practical framework for crafting models with precisely targeted reasoning capabilities. Code is available at https://github.com/wutaiqiang/MI{Github}.