Brainstacks: 凍結MoE-LoRAスタックによるドメイン横断的認知能力の実現とLLMの継続的学習

Brainstacks: Cross-Domain Cognitive Capabilities via Frozen MoE-LoRA Stacks for Continual LLM Learning

April 1, 2026

著者: Mohammad R. Abu Ayyash

cs.AI

要旨

本論文では、大規模言語モデルの継続的なマルチドメインファインチューニングのためのモジュラーアーキテクチャ「Brainstacks」を提案する。これは、推論時に共有の凍結ベースモデル上で加算的に合成される凍結アダプタスタックとしてドメイン知識をパッケージ化する。5つの連動する構成要素：（1）QLoRA 4ビット量子化（rsLoRAスケーリング適用）下での全7トランスフォーマー射影層に対するShazeer式ノイジートップ2ルーティングを備えたMoE-LoRA、（2）学習済みスタックを凍結し新規スタックを追加する残差ブースティングを行う内側ループ、（3）カリキュラム順序に基づく依存関係でドメイン特化スタックを逐次学習する外側ループ、（4）ランダム化SVDによる零空間射影により新規スタックを過去の学習方向と直交する部分空間に制約し、単体では完全な忘却防止を実現、（5）経験的に発見されたドメイン組み合わせターゲットに基づいて学習された成果ベースのシグモイドメタルーターがスタックを選択的に重み付けし、ドメイン横断的な合成を可能にする。二つの境界実験：（6）ランダム初期化モデルに対するPSN事前学習、（7）SFT後のアライメント手法（DPO/GRPO）との互換性を検証するドメイン毎の強化学習。TinyLlama-1.1B（4ドメイン、9スタック）とGemma 3 12B IT（5ドメイン、10スタック）で検証した結果、MoE-LoRAはパラメータ数が同等の単一LoRAより2.5倍高速に収束し、残差ブースティングは単一スタックの性能限界を突破し、ルーティングシステムはゲートなしスタック累積で損なわれた生成品質を回復した。中核的発見：成果ベースルーターは、ドメインスタックがドメイン固有知識ではなく転移可能な認知的プリミティブ（指示追従の明確性、数値推論、手続き的論理、連鎖思考構造）を符号化することを発見。医療プロンプトの97%が、医療データを一切含まない「対話+数学」スタックにルーティングされることを実証。

English

We present Brainstacks, a modular architecture for continual multi-domain fine-tuning of large language models that packages domain expertise as frozen adapter stacks composing additively on a shared frozen base at inference. Five interlocking components: (1) MoE-LoRA with Shazeer-style noisy top-2 routing across all seven transformer projections under QLoRA 4-bit quantization with rsLoRA scaling; (2) an inner loop performing residual boosting by freezing trained stacks and adding new ones; (3) an outer loop training sequential domain-specific stacks with curriculum-ordered dependencies; (4) null-space projection via randomized SVD constraining new stacks to subspaces orthogonal to prior directions, achieving zero forgetting in isolation; (5) an outcome-based sigmoid meta-router trained on empirically discovered domain-combination targets that selectively weights stacks, enabling cross-domain composition. Two boundary experiments: (6) PSN pretraining on a randomly initialized model; (7) per-domain RL (DPO/GRPO) validating compatibility with post-SFT alignment. Validated on TinyLlama-1.1B (4 domains, 9 stacks) and Gemma 3 12B IT (5 domains, 10 stacks), MoE-LoRA achieves 2.5x faster convergence than parameter-matched single LoRA, residual boosting breaks through the single-stack ceiling, and the routed system recovers generation quality destroyed by ungated stack accumulation. The central finding: the outcome-based router discovers that domain stacks encode transferable cognitive primitives (instruction-following clarity, numerical reasoning, procedural logic, chain-of-thought structure) rather than domain-specific knowledge, with medical prompts routing to chat+math stacks in 97% of cases despite zero medical data in those stacks.