Ensinando Modelos de Linguagem Pré-treinados a Pensar Mais Profundamente com Recorrência Retrofitted
Teaching Pretrained Language Models to Think Deeper with Retrofitted Recurrence
November 10, 2025
Autores: Sean McLeish, Ang Li, John Kirchenbauer, Dayal Singh Kalra, Brian R. Bartoldson, Bhavya Kailkhura, Avi Schwarzschild, Jonas Geiping, Tom Goldstein, Micah Goldblum
cs.AI
Resumo
Avanços recentes em modelos de linguagem com recorrência em profundidade demonstram que a recorrência pode dissociar o cálculo computacional durante o treinamento e a contagem de parâmetros do cálculo computacional durante o teste. Neste trabalho, estudamos como converter modelos de linguagem pré-treinados não recorrentes existentes em modelos com recorrência em profundidade. Descobrimos que o uso de um currículo de recorrências para aumentar a profundidade efetiva do modelo ao longo do treinamento preserva o desempenho, reduzindo ao mesmo tempo o custo computacional total. Em nossos experimentos, em matemática, observamos que converter modelos pré-treinados em modelos recorrentes resulta em melhor desempenho para um determinado orçamento computacional do que simplesmente realizar pós-treinamento no modelo de linguagem não recorrente original.
English
Recent advances in depth-recurrent language models show that recurrence can
decouple train-time compute and parameter count from test-time compute. In this
work, we study how to convert existing pretrained non-recurrent language models
into depth-recurrent models. We find that using a curriculum of recurrences to
increase the effective depth of the model over the course of training preserves
performance while reducing total computational cost. In our experiments, on
mathematics, we observe that converting pretrained models to recurrent ones
results in better performance at a given compute budget than simply
post-training the original non-recurrent language model.