Permettre une intégration flexible de plusieurs LLM pour une agrégation de connaissances évolutive

Résumé

Les grands modèles de langage (LLMs) ont montré un potentiel remarquable, mais il reste difficile de les améliorer continuellement par le biais de l’affinage traditionnel, en particulier lors de l’intégration de capacités provenant d’autres LLMs spécialisés. Les méthodes populaires telles que l’assemblage (ensemble) et la fusion de poids nécessitent une mémoire substantielle et peinent à s’adapter à des environnements de données changeants. Des efforts récents ont permis de transférer des connaissances provenant de plusieurs LLMs vers un modèle cible unique ; cependant, ils souffrent d’interférences et d’une dégradation des performances entre les tâches, principalement en raison d’une flexibilité limitée dans la sélection des candidats et les pipelines d’entraînement. Pour résoudre ces problèmes, nous proposons un cadre qui sélectionne et agrège de manière adaptative les connaissances provenant de divers LLMs afin de construire un modèle unique et plus performant, évitant ainsi la surcharge mémoire élevée de l’assemblage et la rigidité de la fusion de poids. Plus précisément, nous concevons un réseau de sélection adaptative qui identifie les LLMs sources les plus pertinents en fonction de leurs scores, réduisant ainsi les interférences de connaissances. Nous proposons également une stratégie de fusion pondérée dynamique qui tient compte des forces intrinsèques des LLMs candidats, ainsi qu’une fonction de perte pilotée par rétroaction qui empêche le sélecteur de converger vers un seul sous-ensemble de sources. Les résultats expérimentaux démontrent que notre méthode permet un processus d’agrégation des connaissances plus stable et évolutif, tout en réduisant les interférences de connaissances jusqu’à 50 % par rapport aux approches existantes. Le code est disponible à l’adresse suivante : https://github.com/ZLKong/LLM_Integration.

English

Large language models (LLMs) have shown remarkable promise but remain challenging to continually improve through traditional finetuning, particularly when integrating capabilities from other specialized LLMs. Popular methods like ensemble and weight merging require substantial memory and struggle to adapt to changing data environments. Recent efforts have transferred knowledge from multiple LLMs into a single target model; however, they suffer from interference and degraded performance among tasks, largely due to limited flexibility in candidate selection and training pipelines. To address these issues, we propose a framework that adaptively selects and aggregates knowledge from diverse LLMs to build a single, stronger model, avoiding the high memory overhead of ensemble and inflexible weight merging. Specifically, we design an adaptive selection network that identifies the most relevant source LLMs based on their scores, thereby reducing knowledge interference. We further propose a dynamic weighted fusion strategy that accounts for the inherent strengths of candidate LLMs, along with a feedback-driven loss function that prevents the selector from converging on a single subset of sources. Experimental results demonstrate that our method can enable a more stable and scalable knowledge aggregation process while reducing knowledge interference by up to 50% compared to existing approaches. Code is avaliable at https://github.com/ZLKong/LLM_Integration

Permettre une intégration flexible de plusieurs LLM pour une agrégation de connaissances évolutive

Enabling Flexible Multi-LLM Integration for Scalable Knowledge Aggregation

Résumé

Support