Flexibele integratie van meerdere LLM's mogelijk maken voor schaalbare kennisaggregatie

Samenvatting

Grote taalmodellen (LLMs) hebben opmerkelijke beloften getoond, maar het blijft uitdagend om ze voortdurend te verbeteren via traditionele finetuning, vooral bij het integreren van mogelijkheden van andere gespecialiseerde LLMs. Populaire methoden zoals ensemble en gewichtsmerging vereisen aanzienlijk geheugen en hebben moeite om zich aan te passen aan veranderende data-omgevingen. Recente inspanningen hebben kennis overgedragen van meerdere LLMs naar een enkel doelmodel; echter, ze lijden onder interferentie en verminderde prestaties tussen taken, grotendeels vanwege beperkte flexibiliteit in kandidaatselectie en trainingspijplijnen. Om deze problemen aan te pakken, stellen we een raamwerk voor dat adaptief kennis selecteert en aggregeert uit diverse LLMs om een enkel, sterker model te bouwen, waarbij het hoge geheugenoverhead van ensemble en onflexibele gewichtsmerging wordt vermeden. Specifiek ontwerpen we een adaptief selectienetwerk dat de meest relevante bron-LLMs identificeert op basis van hun scores, waardoor kennisinterferentie wordt verminderd. We stellen verder een dynamische gewogen fusiestrategie voor die rekening houdt met de inherente sterktes van kandidaat-LLMs, samen met een feedback-gestuurde verliesfunctie die voorkomt dat de selector convergeert op een enkele subset van bronnen. Experimentele resultaten tonen aan dat onze methode een stabieler en schaalbaarder kennisaggregatieproces kan mogelijk maken, terwijl kennisinterferentie met tot wel 50% wordt verminderd in vergelijking met bestaande benaderingen. Code is beschikbaar op https://github.com/ZLKong/LLM_Integration.

English

Large language models (LLMs) have shown remarkable promise but remain challenging to continually improve through traditional finetuning, particularly when integrating capabilities from other specialized LLMs. Popular methods like ensemble and weight merging require substantial memory and struggle to adapt to changing data environments. Recent efforts have transferred knowledge from multiple LLMs into a single target model; however, they suffer from interference and degraded performance among tasks, largely due to limited flexibility in candidate selection and training pipelines. To address these issues, we propose a framework that adaptively selects and aggregates knowledge from diverse LLMs to build a single, stronger model, avoiding the high memory overhead of ensemble and inflexible weight merging. Specifically, we design an adaptive selection network that identifies the most relevant source LLMs based on their scores, thereby reducing knowledge interference. We further propose a dynamic weighted fusion strategy that accounts for the inherent strengths of candidate LLMs, along with a feedback-driven loss function that prevents the selector from converging on a single subset of sources. Experimental results demonstrate that our method can enable a more stable and scalable knowledge aggregation process while reducing knowledge interference by up to 50% compared to existing approaches. Code is avaliable at https://github.com/ZLKong/LLM_Integration

Flexibele integratie van meerdere LLM's mogelijk maken voor schaalbare kennisaggregatie

Enabling Flexible Multi-LLM Integration for Scalable Knowledge Aggregation

Samenvatting

Support