확장 가능한 지식 통합을 위한 유연한 다중 LLM 통합 지원

초록

대규모 언어 모델(LLMs)은 놀라운 잠재력을 보여주었지만, 전통적인 미세 조정(finetuning)을 통해 지속적으로 개선하는 것은 여전히 어려운 과제로 남아 있으며, 특히 다른 특화된 LLMs의 기능을 통합할 때 더욱 그러하다. 앙상블(ensemble) 및 가중치 병합(weight merging)과 같은 널리 사용되는 방법들은 상당한 메모리를 요구하며, 변화하는 데이터 환경에 적응하는 데 어려움을 겪는다. 최근의 연구들은 여러 LLMs의 지식을 단일 목표 모델로 전달하려고 시도했지만, 후보 선택과 학습 파이프라인의 유연성이 부족하여 작업 간 간섭과 성능 저하를 겪고 있다. 이러한 문제를 해결하기 위해, 우리는 다양한 LLMs로부터 지식을 적응적으로 선택하고 통합하여 단일의 더 강력한 모델을 구축하는 프레임워크를 제안하며, 이는 앙상블의 높은 메모리 오버헤드와 가중치 병합의 경직성을 피한다. 구체적으로, 우리는 점수를 기반으로 가장 관련성이 높은 소스 LLMs를 식별하는 적응형 선택 네트워크를 설계하여 지식 간섭을 줄인다. 또한, 우리는 후보 LLMs의 고유한 강점을 고려한 동적 가중치 융합 전략과, 선택자가 단일 소스 하위 집합에 수렴하는 것을 방지하는 피드백 기반 손실 함수를 제안한다. 실험 결과는 우리의 방법이 기존 접근법에 비해 지식 간섭을 최대 50%까지 줄이면서도 더 안정적이고 확장 가능한 지식 통합 과정을 가능하게 함을 보여준다. 코드는 https://github.com/ZLKong/LLM_Integration에서 확인할 수 있다.

English

Large language models (LLMs) have shown remarkable promise but remain challenging to continually improve through traditional finetuning, particularly when integrating capabilities from other specialized LLMs. Popular methods like ensemble and weight merging require substantial memory and struggle to adapt to changing data environments. Recent efforts have transferred knowledge from multiple LLMs into a single target model; however, they suffer from interference and degraded performance among tasks, largely due to limited flexibility in candidate selection and training pipelines. To address these issues, we propose a framework that adaptively selects and aggregates knowledge from diverse LLMs to build a single, stronger model, avoiding the high memory overhead of ensemble and inflexible weight merging. Specifically, we design an adaptive selection network that identifies the most relevant source LLMs based on their scores, thereby reducing knowledge interference. We further propose a dynamic weighted fusion strategy that accounts for the inherent strengths of candidate LLMs, along with a feedback-driven loss function that prevents the selector from converging on a single subset of sources. Experimental results demonstrate that our method can enable a more stable and scalable knowledge aggregation process while reducing knowledge interference by up to 50% compared to existing approaches. Code is avaliable at https://github.com/ZLKong/LLM_Integration

확장 가능한 지식 통합을 위한 유연한 다중 LLM 통합 지원

Enabling Flexible Multi-LLM Integration for Scalable Knowledge Aggregation

초록

Support