Retificação do Pensamento de LLM sob a Ótica da Otimização
Rectifying LLM Thought from Lens of Optimization
December 1, 2025
Autores: Junnan Liu, Hongwei Liu, Songyang Zhang, Kai Chen
cs.AI
Resumo
Os recentes avanços nos grandes modelos de linguagem (LLMs) têm sido impulsionados pelas suas capacidades emergentes de raciocínio, particularmente através do encadeamento longo de pensamento (CoT), que permite uma exploração e deliberação minuciosas. Apesar destes avanços, os LLMs com CoT longo frequentemente exibem comportamentos de raciocínio subóptimos, como reflexão excessiva e cadeias de raciocínio excessivamente prolongadas, o que pode prejudicar o desempenho. Neste artigo, analisamos os processos de raciocínio através de uma lente de otimização, enquadrando o CoT como um procedimento de descida de gradiente em que cada passo de raciocínio constitui uma atualização em direção à resolução do problema. Com base nesta perspetiva, introduzimos o RePro (Retificação de Recompensa a Nível de Processo), uma nova abordagem para refinar o raciocínio dos LLMs durante o pós-treinamento. O RePro define uma função objetivo substituta para avaliar o processo de otimização subjacente ao CoT, utilizando um mecanismo de pontuação dupla para quantificar a sua intensidade e estabilidade. Estas pontuações são agregadas numa recompensa composta a nível de processo, integrada de forma harmoniosa em pipelines de aprendizagem por reforço com recompensas verificáveis (RLVR) para otimizar os LLMs. Experiências extensas em múltiplos algoritmos de aprendizagem por reforço e diversos LLMs, avaliadas em benchmarks que abrangem matemática, ciências e programação, demonstram que o RePro melhora consistentemente o desempenho do raciocínio e mitiga comportamentos de raciocínio subóptimos.
English
Recent advancements in large language models (LLMs) have been driven by their emergent reasoning capabilities, particularly through long chain-of-thought (CoT) prompting, which enables thorough exploration and deliberation. Despite these advances, long-CoT LLMs often exhibit suboptimal reasoning behaviors, such as overthinking and excessively protracted reasoning chains, which can impair performance. In this paper, we analyze reasoning processes through an optimization lens, framing CoT as a gradient descent procedure where each reasoning step constitutes an update toward problem resolution. Building on this perspective, we introduce RePro (Rectifying Process-level Reward), a novel approach to refine LLM reasoning during post-training. RePro defines a surrogate objective function to assess the optimization process underlying CoT, utilizing a dual scoring mechanism to quantify its intensity and stability. These scores are aggregated into a composite process-level reward, seamlessly integrated into reinforcement learning with verifiable rewards (RLVR) pipelines to optimize LLMs. Extensive experiments across multiple reinforcement learning algorithms and diverse LLMs, evaluated on benchmarks spanning mathematics, science, and coding, demonstrate that RePro consistently enhances reasoning performance and mitigates suboptimal reasoning behaviors.