スケーラブルな知識集約のための柔軟なマルチLLM統合の実現
Enabling Flexible Multi-LLM Integration for Scalable Knowledge Aggregation
May 28, 2025
著者: Zhenglun Kong, Zheng Zhan, Shiyue Hou, Yifan Gong, Xin Meng, Pengwei Sui, Peiyan Dong, Xuan Shen, Zifeng Wang, Pu Zhao, Hao Tang, Stratis Ioannidis, Yanzhi Wang
cs.AI
要旨
大規模言語モデル（LLM）は非常に有望な成果を示しているものの、従来のファインチューニングを通じて継続的に改善することは依然として課題であり、特に他の専門化されたLLMの能力を統合する際に顕著である。アンサンブルや重み統合のような一般的な手法は、大量のメモリを必要とし、変化するデータ環境に適応することが困難である。最近の研究では、複数のLLMから知識を単一のターゲットモデルに転送する試みが行われているが、候補選択とトレーニングパイプラインの柔軟性の欠如により、タスク間での干渉や性能の低下が生じている。これらの問題に対処するため、我々は、多様なLLMから知識を適応的に選択し集約することで、単一のより強力なモデルを構築するフレームワークを提案し、アンサンブルの高いメモリオーバーヘッドや柔軟性のない重み統合を回避する。具体的には、スコアに基づいて最も関連性の高いソースLLMを識別する適応選択ネットワークを設計し、知識干渉を低減する。さらに、候補LLMの固有の強みを考慮した動的加重融合戦略と、選択者が単一のソースサブセットに収束することを防ぐフィードバック駆動型損失関数を提案する。実験結果は、我々の手法が既存のアプローチと比較して知識干渉を最大50％削減しつつ、より安定かつスケーラブルな知識集約プロセスを実現できることを示している。コードはhttps://github.com/ZLKong/LLM_Integrationで公開されている。
English
Large language models (LLMs) have shown remarkable promise but remain
challenging to continually improve through traditional finetuning, particularly
when integrating capabilities from other specialized LLMs. Popular methods like
ensemble and weight merging require substantial memory and struggle to adapt to
changing data environments. Recent efforts have transferred knowledge from
multiple LLMs into a single target model; however, they suffer from
interference and degraded performance among tasks, largely due to limited
flexibility in candidate selection and training pipelines. To address these
issues, we propose a framework that adaptively selects and aggregates knowledge
from diverse LLMs to build a single, stronger model, avoiding the high memory
overhead of ensemble and inflexible weight merging. Specifically, we design an
adaptive selection network that identifies the most relevant source LLMs based
on their scores, thereby reducing knowledge interference. We further propose a
dynamic weighted fusion strategy that accounts for the inherent strengths of
candidate LLMs, along with a feedback-driven loss function that prevents the
selector from converging on a single subset of sources. Experimental results
demonstrate that our method can enable a more stable and scalable knowledge
aggregation process while reducing knowledge interference by up to 50% compared
to existing approaches. Code is avaliable at
https://github.com/ZLKong/LLM_Integration