Débloquer l'apprentissage de caractéristiques dans les réseaux delta à portes à grande échelle

Résumé

L'entraînement et la mise à l'échelle des grands modèles de langage exigent des ressources de calcul considérables, ce qui motive à la fois le développement d'architectures sous-quadratiques efficaces et de méthodes de réglage des hyperparamètres fondées sur des principes. Alors que la Paramétrisation de Mise à Jour Maximale (μP) a permis un transfert d'hyperparamètres en zero-shot pour les Transformers standards, son extension aux modèles linéaires, en particulier ceux dotés de transitions d'état structurées et d'architectures complexes, reste largement inexplorée. En propageant rigoureusement les estimations de taille de coordonnées à travers le passage avant, les mécanismes de portes et les dynamiques d'état récurrentes, nous dérivons les règles de mise à l'échelle du Réseau Delta à Portes (Gated Delta Network). Des expériences de pré-entraînement sur modèle de langage confirment que nos configurations permettent un transfert stable du taux d'apprentissage entre différentes largeurs de modèle sous AdamW et SGD, tandis que la paramétrisation standard ne parvient pas à effectuer ce transfert, validant ainsi la justesse et l'utilité pratique de notre analyse.

English

Training and scaling Large Language Models demand enormous computational resources, motivating both efficient sub-quadratic architectures and principled hyperparameter tuning methods. While the Maximal Update Parametrization (μP) has enabled zero-shot hyperparameter transfer for standard Transformers, its extension to linear models, particularly those with structured state transitions and complicated architectures, remains largely unexplored. By rigorously propagating coordinate-size estimates through the forward pass, gating mechanisms, and recurrent state dynamics, we derive the scaling rules for Gated Delta Network. Experiments on language-model pre-training confirm that our configurations enable stable learning-rate transfer across model widths under both AdamW and SGD, whereas standard parametrization fails to transfer, validating the correctness and practical utility of our analysis.