Hoeveel is één herhaling waard? Iso-diepte schaalwetten voor geloopte taalmodellen

How Much Is One Recurrence Worth? Iso-Depth Scaling Laws for Looped Language Models

April 27, 2026

Auteurs: Kristian Schwethelm, Daniel Rueckert, Georgios Kaissis

cs.AI

Samenvatting

Wij meten hoeveel één extra herhaling waard is voor een geluste (depth-recurrent) taalmodel, uitgedrukt in equivalente unieke parameters. Op basis van een iso-depth sweep van 116 voorgetrainde runs over herhalingsaantallen r in {1, 2, 4, 8}, die {sim}50 keer verschillen in rekenkosten voor training, passen we een gezamenlijke schaalwet toe: L = E + A,(N_once + r^φ N_rec)^{-α} + B,D^{-β} en vinden een nieuwe herhalings-equivalentie-exponent φ = 0.46. Intuïtief gezegd geeft φ aan of het lussen van een blok r keer equivalent is in validatieloss aan r unieke blokken van een niet-gelust model (volledige equivalentie, φ=1) of aan een enkel blok dat herhaald wordt zonder capaciteitstoename (φ=0). Onze φ = 0.46 zit hier tussenin, dus elke extra herhaling verhoogt de validatieloss voorspelbaar bij gelijke trainingsrekencosten. Bij r=4 presteert een gelust model van 410M bijvoorbeeld vergelijkbaar met een niet-gelust model van 580M, maar tegen de trainingskosten van een niet-gelust model van 1B. Wij tonen de bruikbaarheid van φ als meetinstrument aan met twee tests. Afgekapte backpropagatie verlaagt φ tot 0.38, wat aangeeft dat het lusmechanisme slecht getraind wordt bij afkapping, ook al daalt de validatieloss. Hyperconnecties daarentegen verhogen φ tot 0.65, een echte capaciteitstoename. Onze methode is toepasbaar op elk gelust taalmodel en onderscheidt echte lusverbeteringen van winst in tokenbudget.

English

We measure how much one extra recurrence is worth to a looped (depth-recurrent) language model, in equivalent unique parameters. From an iso-depth sweep of 116 pretraining runs across recurrence counts r in {1, 2, 4, 8} spanning {sim}50times in training compute, we fit a joint scaling law L = E + A,(N_once + r^φ N_rec)^{-α} + B,D^{-β} and recover a new recurrence-equivalence exponent φ= 0.46. Intuitively, φ tells us whether looping a block r times is equivalent in validation loss to r unique blocks of a non-looped model (full equivalence, φ{=}1) or to a single block run repeatedly with no capacity gain (φ{=}0). Our φ= 0.46 sits in between, so each additional recurrence predictably increases validation loss at matched training compute. For example, at r{=}4 a 410M looped model performs on par with a 580M non-looped model, but incurs the training cost of a 1B non-looped one. We demonstrate the utility of φ as a measurement tool on two probes. Truncated backpropagation lowers φ to 0.38, indicating that the loop mechanism is poorly trained under truncation, even though validation loss decreases. Conversely, hyperconnections raise φ to 0.65, a genuine capacity gain. Our method applies to any looped LM and separates true loop improvements from token-budget gains.