Улучшение рекуррентных трансформеров с помощью смеси адаптеров LoRA

Improving Recursive Transformers with Mixture of LoRAs

December 14, 2025

Авторы: Mohammadmahdi Nouriborji, Morteza Rohanian, Omid Rohanian

cs.AI

Аннотация

Разделение параметров в рекуррентных трансформерах сокращает размер модели, но снижает выразительность на уровне слоев. Мы предлагаем смесь адаптаций LoRA (MoL) — механизм условных вычислений с низкими затратами, который интегрирует экспертов на основе низкоранговой адаптации (LoRA) в общую прямую сеть (FFN). MoL обеспечивает токен-условную модуляцию весового пространства общей FFN без разделения параметров базовой архитектуры, в отличие от предыдущих подходов, добавляющих фиксированные или внешние адаптеры. Мы проводим предварительное обучение модернизированной рекуррентной архитектуры ModernALBERT, объединяющей ротационные эмбеддинги, GeGLU, FlashAttention и инициализацию на основе дистилляции. На наборах данных GLUE, SQuAD-v2 и BEIR модель ModernALBERT (50–120 млн параметров) демонстрирует наилучшие результаты среди компактных моделей и превосходит более крупные полностью параметризованные базовые линии. Мы также предлагаем процедуру объединения экспертов, которая сжимает MoL в единый адаптер на этапе вывода с сохранением точности, обеспечивая эффективное развертывание. Наши результаты показывают, что условная модуляция весового пространства эффективно восстанавливает выразительность, утраченную при агрессивном разделении параметров в рекуррентных трансформерах.

English

Parameter sharing in recursive transformers reduces model size but collapses layer-wise expressivity. We propose Mixture of LoRAs (MoL), a lightweight conditional-computation mechanism that inserts Low-Rank Adaptation (LoRA) experts inside a shared feed-forward network (FFN). MoL enables token-conditional weight-space modulation of the shared FFN without untying backbone parameters, unlike prior approaches that add fixed or externally attached adapters. We pretrain a modernised recursive architecture, ModernALBERT, integrating rotary embeddings, GeGLU, FlashAttention, and a distillation-based initialisation. Across GLUE, SQuAD-v2, and BEIR, ModernALBERT (50M--120M) achieves state-of-the-art performance among compact models and surpasses larger fully parameterised baselines. We also propose an expert-merging procedure that compresses MoL into a single adapter at inference while preserving accuracy, enabling efficient deployment. Our results show that conditional weight-space modulation effectively restores the expressivity lost under aggressive parameter sharing in recursive transformers.