Combien vaut une récurrence ? Lois d'échelle iso-profondeur pour les modèles de langage à boucles

Résumé

Nous mesurons la valeur d'une récurrence supplémentaire pour un modèle de langage à boucle (récurrent en profondeur), en paramètres uniques équivalents. À partir d'un balayage iso-profondeur de 116 entraînements préalables pour des nombres de récurrence r dans {1, 2, 4, 8}, couvrant un facteur ~50 en calcul d'entraînement, nous ajustons une loi d'échelle conjointe L = E + A.(N_once + r^φ N_rec)^{-α} + B.D^{-β} et obtenons un nouvel exposant d'équivalence-récurrence φ = 0,46. Intuitivement, φ nous indique si le fait de boucler un bloc r fois est équivalent en perte de validation à r blocs uniques d'un modèle non bouclé (équivalence totale, φ=1) ou à un seul bloc exécuté répétitivement sans gain de capacité (φ=0). Notre φ=0,46 se situe entre les deux, donc chaque récurrence supplémentaire augmente de manière prévisible la perte de validation à calcul d'entraînement égal. Par exemple, à r=4, un modèle bouclé de 410M performe de manière équivalente à un modèle non bouclé de 580M, mais supporte le coût d'entraînement d'un modèle non bouclé de 1Md. Nous démontrons l'utilité de φ comme outil de mesure via deux sondes. La rétropropagation tronquée abaisse φ à 0,38, indiquant que le mécanisme de boucle est mal entraîné sous troncature, même si la perte de validation diminue. Inversement, les hyperconnexions augmentent φ à 0,65, ce qui représente un gain de capacité authentique. Notre méthode s'applique à tout modèle de langage bouclé et distingue les véritables améliorations apportées par la boucle des gains liés au budget de tokens.

English

We measure how much one extra recurrence is worth to a looped (depth-recurrent) language model, in equivalent unique parameters. From an iso-depth sweep of 116 pretraining runs across recurrence counts r in {1, 2, 4, 8} spanning {sim}50times in training compute, we fit a joint scaling law L = E + A,(N_once + r^φ N_rec)^{-α} + B,D^{-β} and recover a new recurrence-equivalence exponent φ= 0.46. Intuitively, φ tells us whether looping a block r times is equivalent in validation loss to r unique blocks of a non-looped model (full equivalence, φ{=}1) or to a single block run repeatedly with no capacity gain (φ{=}0). Our φ= 0.46 sits in between, so each additional recurrence predictably increases validation loss at matched training compute. For example, at r{=}4 a 410M looped model performs on par with a 580M non-looped model, but incurs the training cost of a 1B non-looped one. We demonstrate the utility of φ as a measurement tool on two probes. Truncated backpropagation lowers φ to 0.38, indicating that the loop mechanism is poorly trained under truncation, even though validation loss decreases. Conversely, hyperconnections raise φ to 0.65, a genuine capacity gain. Our method applies to any looped LM and separates true loop improvements from token-budget gains.