LoopUS: Het hervormen van voorgetrainde LLM's tot modellen met herhaalde latente verfijning

Samenvatting

Geluste berekening toont veelbelovend in het verbeteren van de redeneringsgerichte prestaties van LLM's door het opschalen van rekenkracht tijdens de testfase. Bestaande benaderingen vereisen echter doorgaans ofwel het vanaf nul trainen van recurrente modellen of het toepassen van disruptieve aanpassingen achteraf, wat gepaard gaat met aanzienlijke rekenkosten en de vooraf getrainde capaciteiten in gevaar kan brengen. Om deze beperkingen aan te pakken introduceren we Looped Depth Up-Scaling (LoopUS), een post-training raamwerk dat een standaard vooraf getraind LLM omzet in een geluste architectuur. Als belangrijke technische bijdrage herinterpreteert LoopUS het vooraf getrainde LLM als een encoder, een gelust redeneerblok en een decoder. Het operationaliseert deze latente-verfijningsarchitectuur via vier kerncomponenten: (1) blokdecompositie, geleid door getrapte representatiedynamiek; (2) een invoerafhankelijke selectieve poort om verborgen-toestandsdrift te beperken; (3) willekeurig diep toezicht voor geheugenefficiënt leren over lange recursieve horizonten; en (4) een vertrouwenskop voor adaptief vroegtijdig stoppen. Gezamenlijk transformeren deze mechanismen een standaard niet-gelust model in een geluste vorm, terwijl het wordt gestabiliseerd tegen zowel rekenknelpunten als representatiecollaps. Door stabiel latent lussen verbetert LoopUS redeneringsgerichte prestaties zonder de gegenereerde redeneersporen te verlengen of recurrente training vanaf nul te vereisen. Voor meer details, zie https://thrillcrazyer.github.io/LoopUS

English

Looped computation shows promise in improving the reasoning-oriented performance of LLMs by scaling test-time compute. However, existing approaches typically require either training recurrent models from scratch or applying disruptive retrofits, which involve substantial computational costs and may compromise pretrained capabilities. To address these limitations, we introduce Looped Depth Up-Scaling (LoopUS), a post-training framework that converts a standard pretrained LLM into a looped architecture. As a key technical contribution, LoopUS recasts the pretrained LLM into an encoder, a looped reasoning block, and a decoder. It operationalizes this latent-refinement architecture through four core components: (1) block decomposition, guided by staged representation dynamics; (2) an input-dependent selective gate to mitigate hidden-state drift; (3) random deep supervision for memory-efficient learning over long recursive horizons; and (4) a confidence head for adaptive early exiting. Collectively, these mechanisms transform a standard non-looped model into a looped form while stabilizing it against both computational bottlenecks and representation collapse. Through stable latent looping, LoopUS improves reasoning-oriented performance without extending the generated traces or requiring recurrent training from scratch. For more details, see https://thrillcrazyer.github.io/LoopUS