効率的な推論のためのモデル補間法の再検討

Revisiting Model Interpolation for Efficient Reasoning

October 13, 2025

著者: Taiqiang Wu, Runming Yang, Tao Liu, Jiahao Wang, Ngai Wong

cs.AI

要旨

モデルマージ、特にInstructモデルとThinkingモデルにおいて、効率的な推論のために顕著な性能を示すことが確認されている。本論文では、2つの重みを直接補間する最も単純なマージ手法を体系的に再検討する。特に、モデル補間が推論軌跡において異なる挙動を示す3段階の進化的パラダイムに従うことを観察する。これらのダイナミクスは、性能とコストのトレードオフをナビゲートするための原理的なガイドを提供する。実証結果から、戦略的に補間されたモデルが、効率性と有効性の両方において、洗練されたモデルマージのベースラインを驚くほど上回ることが示される。さらに、モデルの層、モジュール、およびデコード戦略に関する広範なアブレーションスタディを通じて、我々の知見を検証する。最終的に、本論文はモデル補間の謎を解き明かし、正確にターゲットを絞った推論能力を持つモデルを構築するための実践的なフレームワークを提供する。コードはhttps://github.com/wutaiqiang/MI{Github}で公開されている。

English

Model merging, typically on Instruct and Thinking models, has shown remarkable performance for efficient reasoning. In this paper, we systematically revisit the simplest merging method that interpolates two weights directly. Particularly, we observe that model interpolation follows a three-stage evolutionary paradigm with distinct behaviors on the reasoning trajectory. These dynamics provide a principled guide for navigating the performance-cost trade-off. Empirical results demonstrate that a strategically interpolated model surprisingly surpasses sophisticated model merging baselines on both efficiency and effectiveness. We further validate our findings with extensive ablation studies on model layers, modules, and decoding strategies. Ultimately, this work demystifies model interpolation and offers a practical framework for crafting models with precisely targeted reasoning capabilities. Code is available at https://github.com/wutaiqiang/MI{Github}.