Brainstacks : Capacités cognitives inter-domaines via des piles MoE-LoRA gelées pour l'apprentissage continu des LLM

Brainstacks: Cross-Domain Cognitive Capabilities via Frozen MoE-LoRA Stacks for Continual LLM Learning

April 1, 2026

Auteurs: Mohammad R. Abu Ayyash

cs.AI

Résumé

Nous présentons Brainstacks, une architecture modulaire pour le fine-tuning continu multi-domaine des grands modèles de langage, qui conditionne l'expertise de domaine sous forme de piles d'adaptateurs gelées, composables de manière additive sur une base partagée et figée lors de l'inférence. Cinq composants imbriqués : (1) un MoE-LoRA avec un routage bruité de type Shazeer (top-2) sur les sept projections du transformeur, sous quantification 4-bit QLoRA avec mise à l'échelle rsLoRA ; (2) une boucle interne effectuant un renforcement résiduel en gelant les piles entraînées et en ajoutant de nouvelles ; (3) une boucle externe entraînant séquentiellement des piles spécifiques à un domaine avec des dépendances ordonnées par curriculum ; (4) une projection dans l'espace nul via SVD randomisée, contraignant les nouvelles piles à des sous-espaces orthogonaux aux directions antérieures, permettant un oubli nul en isolation ; (5) un méta-routeur sigmoïde basé sur les résultats, entraîné sur des cibles de combinaison de domaines découvertes empiriquement, qui pondère sélectivement les piles, permettant une composition inter-domaines. Deux expériences limites : (6) un pré-entraînement PSN sur un modèle initialisé aléatoirement ; (7) un apprentissage par renforcement par domaine (DPO/GRPO) validant la compatibilité avec l'alignement post-SFT. Validé sur TinyLlama-1.1B (4 domaines, 9 piles) et Gemma 3 12B IT (5 domaines, 10 piles), le MoE-LoRA atteint une convergence 2,5 fois plus rapide qu'un LoRA unique à paramètres équivalents, le renforcement résiduel dépasse le plafond de performance d'une pile unique, et le système routé retrouve la qualité de génération détruite par l'accumulation non gérée des piles. Le résultat principal : le routeur basé sur les résultats découvre que les piles de domaine encodent des primitives cognitives transférables (clarté dans le suivi d'instructions, raisonnement numérique, logique procédurale, structure de raisonnement en chaîne) plutôt qu'une connaissance spécifique à un domaine, les requêtes médicales étant routées vers les piles de dialogue et de mathématiques dans 97 % des cas, bien que ces piles ne contiennent aucune donnée médicale.

English

We present Brainstacks, a modular architecture for continual multi-domain fine-tuning of large language models that packages domain expertise as frozen adapter stacks composing additively on a shared frozen base at inference. Five interlocking components: (1) MoE-LoRA with Shazeer-style noisy top-2 routing across all seven transformer projections under QLoRA 4-bit quantization with rsLoRA scaling; (2) an inner loop performing residual boosting by freezing trained stacks and adding new ones; (3) an outer loop training sequential domain-specific stacks with curriculum-ordered dependencies; (4) null-space projection via randomized SVD constraining new stacks to subspaces orthogonal to prior directions, achieving zero forgetting in isolation; (5) an outcome-based sigmoid meta-router trained on empirically discovered domain-combination targets that selectively weights stacks, enabling cross-domain composition. Two boundary experiments: (6) PSN pretraining on a randomly initialized model; (7) per-domain RL (DPO/GRPO) validating compatibility with post-SFT alignment. Validated on TinyLlama-1.1B (4 domains, 9 stacks) and Gemma 3 12B IT (5 domains, 10 stacks), MoE-LoRA achieves 2.5x faster convergence than parameter-matched single LoRA, residual boosting breaks through the single-stack ceiling, and the routed system recovers generation quality destroyed by ungated stack accumulation. The central finding: the outcome-based router discovers that domain stacks encode transferable cognitive primitives (instruction-following clarity, numerical reasoning, procedural logic, chain-of-thought structure) rather than domain-specific knowledge, with medical prompts routing to chat+math stacks in 97% of cases despite zero medical data in those stacks.