Ermöglichung flexibler Multi-LLM-Integration für skalierbare Wissensaggregation

Zusammenfassung

Große Sprachmodelle (LLMs) haben bemerkenswertes Potenzial gezeigt, bleiben jedoch eine Herausforderung, wenn es darum geht, sie durch traditionelles Feinabstimmen kontinuierlich zu verbessern, insbesondere bei der Integration von Fähigkeiten aus anderen spezialisierten LLMs. Beliebte Methoden wie Ensemble-Ansätze und Gewichtsvereinigung erfordern erheblichen Speicher und haben Schwierigkeiten, sich an sich verändernde Datenumgebungen anzupassen. Jüngste Bemühungen haben Wissen aus mehreren LLMs in ein einzelnes Zielmodell übertragen; jedoch leiden sie unter Interferenzen und einer Verschlechterung der Leistung bei verschiedenen Aufgaben, was größtenteils auf die begrenzte Flexibilität bei der Auswahl von Kandidaten und den Trainingspipeline zurückzuführen ist. Um diese Probleme zu lösen, schlagen wir ein Framework vor, das adaptiv Wissen aus verschiedenen LLMs auswählt und aggregiert, um ein einzelnes, stärkeres Modell zu erstellen, das den hohen Speicheraufwand von Ensemble-Methoden und die unflexible Gewichtsvereinigung vermeidet. Konkret entwerfen wir ein adaptives Auswahlnetzwerk, das die relevantesten Quell-LLMs basierend auf ihren Bewertungen identifiziert und dadurch Wissensinterferenzen reduziert. Weiterhin schlagen wir eine dynamische gewichtete Fusionsstrategie vor, die die inhärenten Stärken der Kandidaten-LLMs berücksichtigt, sowie eine feedbackgesteuerte Verlustfunktion, die verhindert, dass der Selektor auf eine einzelne Teilmenge von Quellen konvergiert. Experimentelle Ergebnisse zeigen, dass unsere Methode einen stabileren und skalierbareren Wissensaggregationsprozess ermöglicht und gleichzeitig Wissensinterferenzen um bis zu 50 % im Vergleich zu bestehenden Ansätzen reduziert. Der Code ist verfügbar unter https://github.com/ZLKong/LLM_Integration.

English

Large language models (LLMs) have shown remarkable promise but remain challenging to continually improve through traditional finetuning, particularly when integrating capabilities from other specialized LLMs. Popular methods like ensemble and weight merging require substantial memory and struggle to adapt to changing data environments. Recent efforts have transferred knowledge from multiple LLMs into a single target model; however, they suffer from interference and degraded performance among tasks, largely due to limited flexibility in candidate selection and training pipelines. To address these issues, we propose a framework that adaptively selects and aggregates knowledge from diverse LLMs to build a single, stronger model, avoiding the high memory overhead of ensemble and inflexible weight merging. Specifically, we design an adaptive selection network that identifies the most relevant source LLMs based on their scores, thereby reducing knowledge interference. We further propose a dynamic weighted fusion strategy that accounts for the inherent strengths of candidate LLMs, along with a feedback-driven loss function that prevents the selector from converging on a single subset of sources. Experimental results demonstrate that our method can enable a more stable and scalable knowledge aggregation process while reducing knowledge interference by up to 50% compared to existing approaches. Code is avaliable at https://github.com/ZLKong/LLM_Integration

Ermöglichung flexibler Multi-LLM-Integration für skalierbare Wissensaggregation

Enabling Flexible Multi-LLM Integration for Scalable Knowledge Aggregation

Zusammenfassung

Support