Brainstacks: Cross-domein cognitieve capaciteiten via bevroren MoE-LoRA-stacks voor continu LLM-leren

Brainstacks: Cross-Domain Cognitive Capabilities via Frozen MoE-LoRA Stacks for Continual LLM Learning

April 1, 2026

Auteurs: Mohammad R. Abu Ayyash

cs.AI

Samenvatting

Wij presenteren Brainstacks, een modulaire architectuur voor continue multi-domein fine-tuning van grote taalmodellen, die domeinexpertise verpakt als bevroren adapterstapels die tijdens de inferentie additief worden samengesteld op een gedeelde, bevroren basis. Vijf in elkaar grijpende componenten: (1) MoE-LoRA met Shazeer-stijl noisy top-2 routing over alle zeven transformer-projecties onder QLoRA 4-bit kwantisatie met rsLoRA-schaling; (2) een innerlijke lus die residual boosting uitvoert door getrainde stapels te bevriezen en nieuwe toe te voegen; (3) een outer loop die sequentiële domeinspecifieke stapels traint met curriculum-geordende afhankelijkheden; (4) null-ruimteprojectie via gerandomiseerde SVD, die nieuwe stapels beperkt tot deelruimten orthogonaal aan eerdere richtingen, waardoor in isolatie nul vergeten wordt bereikt; (5) een op uitkomsten gebaseerde sigmoïde meta-router, getraind op empirisch ontdekte domeincombinatiedoelen, die stapels selectief gewicht geeft en kruis-domeincompositie mogelijk maakt. Twee grensexperimenten: (6) PSN-pre-training op een willekeurig geïnitialiseerd model; (7) per-domein RL (DPO/GRPO) die de compatibiliteit met post-SFT-afstemming valideert. Geverifieerd op TinyLlama-1.1B (4 domeinen, 9 stapels) en Gemma 3 12B IT (5 domeinen, 10 stapels): MoE-LoRA bereikt 2,5x snellere convergentie dan een parameter-gematchte enkele LoRA, residual boosting doorbreekt het plafond van een enkele stapel, en het gerouteerde systeem herstelt de generatiekwaliteit die vernietigd werd door ongegate stapelaccumulatie. De centrale bevinding: de op uitkomsten gebaseerde router ontdekt dat domeinstapels overdraagbare cognitieve primitieven coderen (instructievolgzaamheid, numeriek redeneren, procedurele logica, chain-of-thought-structuur) in plaats van domeinspecifieke kennis, waarbij medische prompts in 97% van de gevallen doorgeleid worden naar chat- en rekenstapels, ondanks de afwezigheid van medische data in die stapels.

English

We present Brainstacks, a modular architecture for continual multi-domain fine-tuning of large language models that packages domain expertise as frozen adapter stacks composing additively on a shared frozen base at inference. Five interlocking components: (1) MoE-LoRA with Shazeer-style noisy top-2 routing across all seven transformer projections under QLoRA 4-bit quantization with rsLoRA scaling; (2) an inner loop performing residual boosting by freezing trained stacks and adding new ones; (3) an outer loop training sequential domain-specific stacks with curriculum-ordered dependencies; (4) null-space projection via randomized SVD constraining new stacks to subspaces orthogonal to prior directions, achieving zero forgetting in isolation; (5) an outcome-based sigmoid meta-router trained on empirically discovered domain-combination targets that selectively weights stacks, enabling cross-domain composition. Two boundary experiments: (6) PSN pretraining on a randomly initialized model; (7) per-domain RL (DPO/GRPO) validating compatibility with post-SFT alignment. Validated on TinyLlama-1.1B (4 domains, 9 stacks) and Gemma 3 12B IT (5 domains, 10 stacks), MoE-LoRA achieves 2.5x faster convergence than parameter-matched single LoRA, residual boosting breaks through the single-stack ceiling, and the routed system recovers generation quality destroyed by ungated stack accumulation. The central finding: the outcome-based router discovers that domain stacks encode transferable cognitive primitives (instruction-following clarity, numerical reasoning, procedural logic, chain-of-thought structure) rather than domain-specific knowledge, with medical prompts routing to chat+math stacks in 97% of cases despite zero medical data in those stacks.