Abilitare l'Integrazione Flessibile di Multi-LLM per l'Aggregazione Scalabile della Conoscenza

Abstract

I modelli linguistici di grandi dimensioni (LLM) hanno dimostrato un potenziale notevole, ma rimangono difficili da migliorare continuamente attraverso il tradizionale fine-tuning, in particolare quando si integrano capacità provenienti da altri LLM specializzati. Metodi popolari come l'ensemble e la fusione dei pesi richiedono una memoria sostanziale e faticano ad adattarsi a contesti di dati in evoluzione. Recenti sforzi hanno trasferito conoscenze da più LLM in un singolo modello target; tuttavia, questi approcci soffrono di interferenze e di un degrado delle prestazioni tra i compiti, principalmente a causa della limitata flessibilità nella selezione dei candidati e nelle pipeline di addestramento. Per affrontare questi problemi, proponiamo un framework che seleziona e aggrega in modo adattivo le conoscenze da diversi LLM per costruire un singolo modello più forte, evitando l'elevato sovraccarico di memoria dell'ensemble e la rigidità della fusione dei pesi. Nello specifico, progettiamo una rete di selezione adattiva che identifica i LLM sorgente più rilevanti in base ai loro punteggi, riducendo così le interferenze di conoscenza. Proponiamo inoltre una strategia di fusione ponderata dinamica che tiene conto dei punti di forza intrinseci dei LLM candidati, insieme a una funzione di perdita guidata dal feedback che impedisce al selettore di convergere su un singolo sottoinsieme di sorgenti. I risultati sperimentali dimostrano che il nostro metodo può abilitare un processo di aggregazione delle conoscenze più stabile e scalabile, riducendo le interferenze di conoscenza fino al 50% rispetto agli approcci esistenti. Il codice è disponibile all'indirizzo https://github.com/ZLKong/LLM_Integration.

English

Large language models (LLMs) have shown remarkable promise but remain challenging to continually improve through traditional finetuning, particularly when integrating capabilities from other specialized LLMs. Popular methods like ensemble and weight merging require substantial memory and struggle to adapt to changing data environments. Recent efforts have transferred knowledge from multiple LLMs into a single target model; however, they suffer from interference and degraded performance among tasks, largely due to limited flexibility in candidate selection and training pipelines. To address these issues, we propose a framework that adaptively selects and aggregates knowledge from diverse LLMs to build a single, stronger model, avoiding the high memory overhead of ensemble and inflexible weight merging. Specifically, we design an adaptive selection network that identifies the most relevant source LLMs based on their scores, thereby reducing knowledge interference. We further propose a dynamic weighted fusion strategy that accounts for the inherent strengths of candidate LLMs, along with a feedback-driven loss function that prevents the selector from converging on a single subset of sources. Experimental results demonstrate that our method can enable a more stable and scalable knowledge aggregation process while reducing knowledge interference by up to 50% compared to existing approaches. Code is avaliable at https://github.com/ZLKong/LLM_Integration

Abilitare l'Integrazione Flessibile di Multi-LLM per l'Aggregazione Scalabile della Conoscenza

Enabling Flexible Multi-LLM Integration for Scalable Knowledge Aggregation

Abstract

Support