Quanto Vale una Ricorrenza? Leggi di Scala a Iso-Profondità per Modelli Linguistici ad Anello

How Much Is One Recurrence Worth? Iso-Depth Scaling Laws for Looped Language Models

April 27, 2026

Autori: Kristian Schwethelm, Daniel Rueckert, Georgios Kaissis

cs.AI

Abstract

Misuriamo il valore di una ricorrenza aggiuntiva per un modello linguistico con loop (a ricorrenza di profondità), espresso in parametri unici equivalenti. Da un'analisi iso-depth di 116 esecuzioni di pre-addestramento su conteggi di ricorrenza r in {1, 2, 4, 8} che coprono {sim}50 volte il costo computazionale di training, adattiamo una legge di scaling congiunta L = E + A,(N_once + r^φ N_rec)^{-α} + B,D^{-β} e ricaviamo un nuovo esponente di equivalenza di ricorrenza φ= 0.46. Intuitivamente, φ indica se eseguire il loop di un blocco r volte è equivalente in termini di loss di validazione a r blocchi unici di un modello senza loop (equivalenza completa, φ{=}1) o a un singolo blocco eseguito ripetutamente senza guadagno di capacità (φ{=}0). Il nostro φ= 0.46 si colloca a metà strada, quindi ogni ricorrenza aggiuntiva aumenta prevedibilmente la loss di validazione a parità di costo computazionale di training. Ad esempio, a r{=}4, un modello con loop da 410M performa in modo simile a un modello senza loop da 580M, ma sostiene il costo di training di un modello senza loop da 1B. Dimostriamo l'utilità di φ come strumento di misurazione con due probe. La backpropagation troncata abbassa φ a 0.38, indicando che il meccanismo di loop è addestrato in modo insufficiente sotto troncamento, nonostante la loss di validazione diminuisca. Viceversa, le iperconnessioni aumentano φ a 0.65, un reale guadagno di capacità. Il nostro metodo si applica a qualsiasi LM con loop e separa i veri miglioramenti del loop dai guadagni del budget dei token.

English

We measure how much one extra recurrence is worth to a looped (depth-recurrent) language model, in equivalent unique parameters. From an iso-depth sweep of 116 pretraining runs across recurrence counts r in {1, 2, 4, 8} spanning {sim}50times in training compute, we fit a joint scaling law L = E + A,(N_once + r^φ N_rec)^{-α} + B,D^{-β} and recover a new recurrence-equivalence exponent φ= 0.46. Intuitively, φ tells us whether looping a block r times is equivalent in validation loss to r unique blocks of a non-looped model (full equivalence, φ{=}1) or to a single block run repeatedly with no capacity gain (φ{=}0). Our φ= 0.46 sits in between, so each additional recurrence predictably increases validation loss at matched training compute. For example, at r{=}4 a 410M looped model performs on par with a 580M non-looped model, but incurs the training cost of a 1B non-looped one. We demonstrate the utility of φ as a measurement tool on two probes. Truncated backpropagation lowers φ to 0.38, indicating that the loop mechanism is poorly trained under truncation, even though validation loss decreases. Conversely, hyperconnections raise φ to 0.65, a genuine capacity gain. Our method applies to any looped LM and separates true loop improvements from token-budget gains.