LoopUS: Reformulando LLMs Pré-treinados em Modelos de Refinamento Latente em Loop

Resumo

A computação em loop mostra-se promissora para melhorar o desempenho orientado a raciocínio de LLMs ao escalar a computação em tempo de teste. No entanto, abordagens existentes geralmente exigem treinar modelos recorrentes do zero ou aplicar adaptações disruptivas, o que envolve custos computacionais substanciais e pode comprometer capacidades pré-treinadas. Para lidar com essas limitações, introduzimos o Looped Depth Up-Scaling (LoopUS), um framework pós-treinamento que converte um LLM padrão pré-treinado em uma arquitetura em loop. Como principal contribuição técnica, o LoopUS reformula o LLM pré-treinado em um codificador, um bloco de raciocínio em loop e um decodificador. Ele operacionaliza essa arquitetura de refinamento latente por meio de quatro componentes centrais: (1) decomposição em blocos, guiada por dinâmicas de representação em estágios; (2) uma porta seletiva dependente da entrada para mitigar a deriva do estado oculto; (3) supervisão profunda aleatória para aprendizado eficiente em termos de memória em horizontes recursivos longos; e (4) uma cabeça de confiança para saída antecipada adaptativa. Coletivamente, esses mecanismos transformam um modelo padrão não em loop em uma forma em loop, estabilizando-o contra gargalos computacionais e colapso de representação. Por meio de um loop latente estável, o LoopUS melhora o desempenho orientado a raciocínio sem estender os traços gerados ou exigir treinamento recorrente do zero. Para mais detalhes, consulte https://thrillcrazyer.github.io/LoopUS

English

Looped computation shows promise in improving the reasoning-oriented performance of LLMs by scaling test-time compute. However, existing approaches typically require either training recurrent models from scratch or applying disruptive retrofits, which involve substantial computational costs and may compromise pretrained capabilities. To address these limitations, we introduce Looped Depth Up-Scaling (LoopUS), a post-training framework that converts a standard pretrained LLM into a looped architecture. As a key technical contribution, LoopUS recasts the pretrained LLM into an encoder, a looped reasoning block, and a decoder. It operationalizes this latent-refinement architecture through four core components: (1) block decomposition, guided by staged representation dynamics; (2) an input-dependent selective gate to mitigate hidden-state drift; (3) random deep supervision for memory-efficient learning over long recursive horizons; and (4) a confidence head for adaptive early exiting. Collectively, these mechanisms transform a standard non-looped model into a looped form while stabilizing it against both computational bottlenecks and representation collapse. Through stable latent looping, LoopUS improves reasoning-oriented performance without extending the generated traces or requiring recurrent training from scratch. For more details, see https://thrillcrazyer.github.io/LoopUS