브레인스택스: 연속적 대규모 언어 모델 학습을 위한 고정 MoE-LoRA 스택 기반의 크로스 도메인 인지 능력

Brainstacks: Cross-Domain Cognitive Capabilities via Frozen MoE-LoRA Stacks for Continual LLM Learning

April 1, 2026

저자: Mohammad R. Abu Ayyash

cs.AI

초록

우리는 대규모 언어 모델의 지속적 다중 도메인 미세 조정을 위한 모듈식 아키텍처인 Brainstacks를 제안한다. 이는 도메인 전문성을 고정된 어댑터 스택으로 패키징하여 추론 시 공유된 고정 기반 모델 위에 가산적으로 구성하는 방식이다. 다섯 가지 상호 연동 구성 요소는 다음과 같다: (1) QLoRA 4비트 양자화 및 rsLoRA 스케일링 하의 7개 트랜스포머 투영층 전반에 걸친 Shazeer식 노이즈 top-2 라우팅을 적용한 MoE-LoRA; (2) 훈련된 스택을 고정하고 새로운 스택을 추가하여 잔차 부스팅을 수행하는 내부 루프; (3) 커리큘럼 순서 의존성을 갖는 순차적 도메인 특화 스택을 훈련시키는 외부 루프; (4) 무작위 SVD를 통한 영공간 투영으로 새로운 스택을 기존 방향에 직교하는 부분공간으로 제한하여 완전한 무망각 달성; (5) 경험적으로 발견된 도메인 조합 타겟으로 훈련된 결과 기반 시그모이드 메타 라우터로, 스택을 선택적으로 가중치하여 도메인 간 구성을 가능하게 함. 두 가지 경계 실험: (6) 무작위 초기화 모델에 대한 PSN 사전 훈련; (7) 도메인별 강화학습(DPO/GRPO)을 통한 SFT 후 정렬 방법과의 호환성 검증. TinyLlama-1.1B(4개 도메인, 9개 스택) 및 Gemma 3 12B IT(5개 도메인, 10개 스택)에서 검증 결과, MoE-LoRA는 매개변수 규모가 동일한 단일 LoRA 대비 2.5배 빠른 수렴 속도를 보였으며, 잔차 부스팅은 단일 스택 성능 한계를 돌파했고, 라우팅 시스템은 게이트되지 않은 스택 누적으로 손상된 생성 품질을 회복시켰다. 핵심 발견: 결과 기반 라우터는 도메인 스택이 도메인 특화 지식이 아니라 이전 가능한 인지 원시 요소(지시 따르기 명확성, 수치 추론, 절차적 논리, 사고 연쇄 구조)를 인코딩함을 발견했으며, 의료 프롬프트의 97% 경우에서 해당 스택에 의료 데이터가 전혀 없음에도 불구하고 채팅+수학 스택으로 라우팅되었다.

English

We present Brainstacks, a modular architecture for continual multi-domain fine-tuning of large language models that packages domain expertise as frozen adapter stacks composing additively on a shared frozen base at inference. Five interlocking components: (1) MoE-LoRA with Shazeer-style noisy top-2 routing across all seven transformer projections under QLoRA 4-bit quantization with rsLoRA scaling; (2) an inner loop performing residual boosting by freezing trained stacks and adding new ones; (3) an outer loop training sequential domain-specific stacks with curriculum-ordered dependencies; (4) null-space projection via randomized SVD constraining new stacks to subspaces orthogonal to prior directions, achieving zero forgetting in isolation; (5) an outcome-based sigmoid meta-router trained on empirically discovered domain-combination targets that selectively weights stacks, enabling cross-domain composition. Two boundary experiments: (6) PSN pretraining on a randomly initialized model; (7) per-domain RL (DPO/GRPO) validating compatibility with post-SFT alignment. Validated on TinyLlama-1.1B (4 domains, 9 stacks) and Gemma 3 12B IT (5 domains, 10 stacks), MoE-LoRA achieves 2.5x faster convergence than parameter-matched single LoRA, residual boosting breaks through the single-stack ceiling, and the routed system recovers generation quality destroyed by ungated stack accumulation. The central finding: the outcome-based router discovers that domain stacks encode transferable cognitive primitives (instruction-following clarity, numerical reasoning, procedural logic, chain-of-thought structure) rather than domain-specific knowledge, with medical prompts routing to chat+math stacks in 97% of cases despite zero medical data in those stacks.