Brainstacks: Domänenübergreifende kognitive Fähigkeiten durch eingefrorene MoE-LoRA-Stapel für kontinuierliches LLM-Lernen
Brainstacks: Cross-Domain Cognitive Capabilities via Frozen MoE-LoRA Stacks for Continual LLM Learning
April 1, 2026
Autoren: Mohammad R. Abu Ayyash
cs.AI
Zusammenfassung
Wir stellen Brainstacks vor, eine modulare Architektur für kontinuierliches Multi-Domain-Finetuning großer Sprachmodelle, die Domänenexpertise als eingefrorene Adapter-Stapel verpackt, die zur Inferenzzeit additiv auf einer gemeinsamen eingefrorenen Basis komponieren. Fünf miteinander verzahnte Komponenten: (1) MoE-LoRA mit Shazeer-artigem Noisy-Top-2-Routing über alle sieben Transformer-Projektionen unter QLoRA 4-Bit-Quantisierung mit rsLoRA-Skalierung; (2) eine innere Schleife, die Residual Boosting durchführt, indem trainierte Stapel eingefroren und neue hinzugefügt werden; (3) eine äußere Schleife, die sequenzielle domänenspezifische Stapel mit curriculum-geordneten Abhängigkeiten trainiert; (4) Nullraumprojektion via randomisierter SVD, die neue Stapel auf zu vorherigen Richtungen orthogonale Unterräume beschränkt und in Isolation Null-Vergessen erreicht; (5) ein ergebnisbasierter Sigmoid-Meta-Router, trainiert auf empirisch entdeckten Domänenkombinationszielen, der Stapel selektiv gewichtet und domänenübergreifende Komposition ermöglicht. Zwei Grenzexperimente: (6) PSN-Pretraining auf einem zufällig initialisierten Modell; (7) Domänen-spezifisches RL (DPO/GRPO), das Kompatibilität mit Post-SFT-Alignment validiert. Validierung an TinyLlama-1.1B (4 Domänen, 9 Stapel) und Gemma 3 12B IT (5 Domänen, 10 Stapel): MoE-LoRA erreicht 2,5x schnellere Konvergenz als parameterangepasstes Einzel-LoRA, Residual Boosting durchbricht die Einzelstapel-Obergrenze, und das geroutete System stellt die durch ungesteuerte Stapelakkumulation zerstörte Generierungsqualität wieder her. Die zentrale Erkenntnis: Der ergebnisbasierte Router entdeckt, dass Domänenstapel übertragbare kognitive Primitive (Instruktionsfolge-Klarheit, numerisches Reasoning, prozedurale Logik, Chain-of-Thought-Struktur) kodieren, nicht domänenspezifisches Wissen, wobei medizinische Prompts in 97 % der Fälle zu Chat+Mathe-Stapeln routen, obwohl diese Stapel keine medizinischen Daten enthalten.
English
We present Brainstacks, a modular architecture for continual multi-domain fine-tuning of large language models that packages domain expertise as frozen adapter stacks composing additively on a shared frozen base at inference. Five interlocking components: (1) MoE-LoRA with Shazeer-style noisy top-2 routing across all seven transformer projections under QLoRA 4-bit quantization with rsLoRA scaling; (2) an inner loop performing residual boosting by freezing trained stacks and adding new ones; (3) an outer loop training sequential domain-specific stacks with curriculum-ordered dependencies; (4) null-space projection via randomized SVD constraining new stacks to subspaces orthogonal to prior directions, achieving zero forgetting in isolation; (5) an outcome-based sigmoid meta-router trained on empirically discovered domain-combination targets that selectively weights stacks, enabling cross-domain composition. Two boundary experiments: (6) PSN pretraining on a randomly initialized model; (7) per-domain RL (DPO/GRPO) validating compatibility with post-SFT alignment. Validated on TinyLlama-1.1B (4 domains, 9 stacks) and Gemma 3 12B IT (5 domains, 10 stacks), MoE-LoRA achieves 2.5x faster convergence than parameter-matched single LoRA, residual boosting breaks through the single-stack ceiling, and the routed system recovers generation quality destroyed by ungated stack accumulation. The central finding: the outcome-based router discovers that domain stacks encode transferable cognitive primitives (instruction-following clarity, numerical reasoning, procedural logic, chain-of-thought structure) rather than domain-specific knowledge, with medical prompts routing to chat+math stacks in 97% of cases despite zero medical data in those stacks.