Brainstacks: Междоменные когнитивные способности посредством замороженных стеков MoE-LoRA для непрерывного обучения больших языковых моделей

Brainstacks: Cross-Domain Cognitive Capabilities via Frozen MoE-LoRA Stacks for Continual LLM Learning

April 1, 2026

Авторы: Mohammad R. Abu Ayyash

cs.AI

Аннотация

Мы представляем Brainstacks — модульную архитектуру для непрерывной тонкой настройки больших языковых моделей в мультидоменных сценариях, которая инкапсулирует доменную экспертизу в виде замороженных стеков адаптеров, аддитивно композируемых на общем замороженном базовом модуле во время инференса. Архитектура включает пять взаимосвязанных компонентов: (1) MoE-LoRA с Shazeer-маршрутизацией noisy top-2 по всем семи проекциям трансформеров в условиях 4-битной квантизации QLoRA со scaling rsLoRA; (2) внутренний цикл, реализующий residual boosting за счет заморозки обученных стеков и добавления новых; (3) внешний цикл, обучающий последовательные доменно-специфичные стеки с учетом зависимостей, упорядоченных по учебному плану; (4) проекция в нуль-пространство посредством рандомизированного SVD, ограничивающая новые стеки ортогональными по отношению к предыдущим направлениям подпространствами, что обеспечивает нулевое забывание в изоляции; (5) outcome-based сигмоидный мета-маршрутизатор, обученный на эмпирически выявленных целях комбинирования доменов, который селективно взвешивает стеки, обеспечивая кросс-доменную композицию. Два граничных эксперимента: (6) предобучение PSN на случайно инициализированной модели; (7) RL на домен (DPO/GRPO), подтверждающий совместимость с пост-SFT альignment. Проверка на TinyLlama-1.1B (4 домена, 9 стеков) и Gemma 3 12B IT (5 доменов, 10 стеков) показала, что MoE-LoRA обеспечивает сходимость в 2,5 раза быстрее, чем одиночный LoRA с эквивалентным числом параметров, residual boosting преодолевает потолок производительности одиночного стека, а система с маршрутизацией восстанавливает качество генерации, утраченное при немаршрутизируемом накоплении стеков. Ключевой вывод: outcome-based маршрутизатор обнаруживает, что доменные стеки кодируют переносимые когнитивные примитивы (четкость следования инструкциям, численные рассуждения, процедурная логика, структура chain-of-thought), а не доменно-специфичные знания, причем медицинские промпты в 97% случаев направляются к чат+математическим стекам, несмотря на полное отсутствие медицинских данных в этих стеках.

English

We present Brainstacks, a modular architecture for continual multi-domain fine-tuning of large language models that packages domain expertise as frozen adapter stacks composing additively on a shared frozen base at inference. Five interlocking components: (1) MoE-LoRA with Shazeer-style noisy top-2 routing across all seven transformer projections under QLoRA 4-bit quantization with rsLoRA scaling; (2) an inner loop performing residual boosting by freezing trained stacks and adding new ones; (3) an outer loop training sequential domain-specific stacks with curriculum-ordered dependencies; (4) null-space projection via randomized SVD constraining new stacks to subspaces orthogonal to prior directions, achieving zero forgetting in isolation; (5) an outcome-based sigmoid meta-router trained on empirically discovered domain-combination targets that selectively weights stacks, enabling cross-domain composition. Two boundary experiments: (6) PSN pretraining on a randomly initialized model; (7) per-domain RL (DPO/GRPO) validating compatibility with post-SFT alignment. Validated on TinyLlama-1.1B (4 domains, 9 stacks) and Gemma 3 12B IT (5 domains, 10 stacks), MoE-LoRA achieves 2.5x faster convergence than parameter-matched single LoRA, residual boosting breaks through the single-stack ceiling, and the routed system recovers generation quality destroyed by ungated stack accumulation. The central finding: the outcome-based router discovers that domain stacks encode transferable cognitive primitives (instruction-following clarity, numerical reasoning, procedural logic, chain-of-thought structure) rather than domain-specific knowledge, with medical prompts routing to chat+math stacks in 97% of cases despite zero medical data in those stacks.