Habilitando Integração Flexível de Múltiplos LLMs para Agregação Escalável de Conhecimento

Resumo

Modelos de linguagem de grande escala (LLMs) têm demonstrado um potencial notável, mas continuam desafiadores de aprimorar continuamente por meio de ajustes finos tradicionais, especialmente ao integrar capacidades de outros LLMs especializados. Métodos populares como ensemble e fusão de pesos exigem uma quantidade substancial de memória e lutam para se adaptar a ambientes de dados em constante mudança. Esforços recentes têm transferido conhecimento de múltiplos LLMs para um único modelo alvo; no entanto, eles sofrem com interferência e degradação de desempenho entre tarefas, em grande parte devido à flexibilidade limitada na seleção de candidatos e pipelines de treinamento. Para abordar esses problemas, propomos um framework que seleciona e agrega conhecimento de forma adaptativa a partir de diversos LLMs para construir um único modelo mais forte, evitando a alta sobrecarga de memória do ensemble e a inflexibilidade da fusão de pesos. Especificamente, projetamos uma rede de seleção adaptativa que identifica os LLMs de origem mais relevantes com base em suas pontuações, reduzindo assim a interferência de conhecimento. Além disso, propomos uma estratégia de fusão ponderada dinâmica que leva em consideração os pontos fortes inerentes dos LLMs candidatos, juntamente com uma função de perda orientada por feedback que impede o seletor de convergir para um único subconjunto de fontes. Resultados experimentais demonstram que nosso método pode permitir um processo de agregação de conhecimento mais estável e escalável, reduzindo a interferência de conhecimento em até 50% em comparação com abordagens existentes. O código está disponível em https://github.com/ZLKong/LLM_Integration.

English

Large language models (LLMs) have shown remarkable promise but remain challenging to continually improve through traditional finetuning, particularly when integrating capabilities from other specialized LLMs. Popular methods like ensemble and weight merging require substantial memory and struggle to adapt to changing data environments. Recent efforts have transferred knowledge from multiple LLMs into a single target model; however, they suffer from interference and degraded performance among tasks, largely due to limited flexibility in candidate selection and training pipelines. To address these issues, we propose a framework that adaptively selects and aggregates knowledge from diverse LLMs to build a single, stronger model, avoiding the high memory overhead of ensemble and inflexible weight merging. Specifically, we design an adaptive selection network that identifies the most relevant source LLMs based on their scores, thereby reducing knowledge interference. We further propose a dynamic weighted fusion strategy that accounts for the inherent strengths of candidate LLMs, along with a feedback-driven loss function that prevents the selector from converging on a single subset of sources. Experimental results demonstrate that our method can enable a more stable and scalable knowledge aggregation process while reducing knowledge interference by up to 50% compared to existing approaches. Code is avaliable at https://github.com/ZLKong/LLM_Integration

Habilitando Integração Flexível de Múltiplos LLMs para Agregação Escalável de Conhecimento

Enabling Flexible Multi-LLM Integration for Scalable Knowledge Aggregation

Resumo

Support