Habilitando la Integración Flexible de Múltiples LLM para la Agregación Escalable de Conocimiento

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han mostrado un potencial notable, pero siguen siendo difíciles de mejorar continuamente mediante el ajuste fino tradicional, especialmente al integrar capacidades de otros LLMs especializados. Métodos populares como el ensamblaje y la fusión de pesos requieren una memoria sustancial y luchan por adaptarse a entornos de datos cambiantes. Esfuerzos recientes han transferido conocimiento de múltiples LLMs a un único modelo objetivo; sin embargo, sufren de interferencia y degradación del rendimiento entre tareas, en gran parte debido a la flexibilidad limitada en la selección de candidatos y los flujos de entrenamiento. Para abordar estos problemas, proponemos un marco que selecciona y agrega conocimiento de manera adaptativa desde diversos LLMs para construir un único modelo más fuerte, evitando la alta sobrecarga de memoria del ensamblaje y la inflexible fusión de pesos. Específicamente, diseñamos una red de selección adaptativa que identifica los LLMs fuente más relevantes en función de sus puntuaciones, reduciendo así la interferencia del conocimiento. Además, proponemos una estrategia de fusión ponderada dinámica que considera las fortalezas inherentes de los LLMs candidatos, junto con una función de pérdida impulsada por retroalimentación que evita que el selector converja en un único subconjunto de fuentes. Los resultados experimentales demuestran que nuestro método permite un proceso de agregación de conocimiento más estable y escalable, reduciendo la interferencia del conocimiento hasta en un 50% en comparación con enfoques existentes. El código está disponible en https://github.com/ZLKong/LLM_Integration.

English

Large language models (LLMs) have shown remarkable promise but remain challenging to continually improve through traditional finetuning, particularly when integrating capabilities from other specialized LLMs. Popular methods like ensemble and weight merging require substantial memory and struggle to adapt to changing data environments. Recent efforts have transferred knowledge from multiple LLMs into a single target model; however, they suffer from interference and degraded performance among tasks, largely due to limited flexibility in candidate selection and training pipelines. To address these issues, we propose a framework that adaptively selects and aggregates knowledge from diverse LLMs to build a single, stronger model, avoiding the high memory overhead of ensemble and inflexible weight merging. Specifically, we design an adaptive selection network that identifies the most relevant source LLMs based on their scores, thereby reducing knowledge interference. We further propose a dynamic weighted fusion strategy that accounts for the inherent strengths of candidate LLMs, along with a feedback-driven loss function that prevents the selector from converging on a single subset of sources. Experimental results demonstrate that our method can enable a more stable and scalable knowledge aggregation process while reducing knowledge interference by up to 50% compared to existing approaches. Code is avaliable at https://github.com/ZLKong/LLM_Integration

Habilitando la Integración Flexible de Múltiples LLM para la Agregación Escalable de Conocimiento

Enabling Flexible Multi-LLM Integration for Scalable Knowledge Aggregation

Resumen

Support