Não Pense Demais: Uma Análise de Modelos de Raciocínio em Grande Escala Eficientes no Estilo R1

Resumo

Recentemente, os Modelos de Raciocínio de Grande Escala (LRMs) têm gradualmente se tornado um ponto quente de pesquisa devido ao seu desempenho excepcional no tratamento de tarefas complexas. Entre eles, o DeepSeek R1 tem atraído atenção significativa por seu desempenho notável e natureza de código aberto, impulsionando avanços na pesquisa de LRMs no estilo R1. Diferentemente dos tradicionais Modelos de Linguagem de Grande Escala (LLMs), esses modelos aprimoram a dedução lógica e as capacidades de tomada de decisão durante o raciocínio ao incorporar mecanismos como cadeias longas de pensamento e autorreflexão por meio de aprendizado por reforço. No entanto, com a ampla aplicação desses modelos, o problema de "overthinking" (pensamento excessivo) tem surgido gradualmente. Especificamente, ao gerar respostas, esses modelos frequentemente constroem cadeias de raciocínio excessivamente longas com etapas redundantes ou repetitivas, o que leva à redução da eficiência do raciocínio e pode afetar a precisão da resposta final. Para isso, vários métodos de raciocínio eficiente foram propostos, visando reduzir o comprimento dos caminhos de raciocínio sem comprometer o desempenho do modelo e a capacidade de raciocínio. Ao revisar sistematicamente os avanços atuais da pesquisa no campo dos métodos de raciocínio eficiente, categorizamos os trabalhos existentes em duas direções principais com base na perspectiva de otimização de modelo único versus colaboração de modelos: (1) Raciocínio Eficiente com Modelo Único, que se concentra em melhorar a eficiência de raciocínio de modelos individuais; e (2) Raciocínio Eficiente com Colaboração de Modelos, que explora a otimização dos caminhos de raciocínio por meio da colaboração entre múltiplos modelos. Além disso, mantemos um repositório público no GitHub que acompanha os últimos progressos em métodos de raciocínio eficiente.

English

Recently, Large Reasoning Models (LRMs) have gradually become a research hotspot due to their outstanding performance in handling complex tasks. Among them, DeepSeek R1 has garnered significant attention for its exceptional performance and open-source nature, driving advancements in the research of R1-style LRMs. Unlike traditional Large Language Models (LLMs), these models enhance logical deduction and decision-making capabilities during reasoning by incorporating mechanisms such as long chain-of-thought and self-reflection through reinforcement learning. However, with the widespread application of these models, the problem of overthinking has gradually emerged. Specifically, when generating answers, these models often construct excessively long reasoning chains with redundant or repetitive steps, which leads to reduced reasoning efficiency and may affect the accuracy of the final answer. To this end, various efficient reasoning methods have been proposed, aiming to reduce the length of reasoning paths without compromising model performance and reasoning capability. By reviewing the current research advancements in the field of efficient reasoning methods systematically, we categorize existing works into two main directions based on the lens of single-model optimization versus model collaboration: (1) Efficient Reasoning with Single Model, which focuses on improving the reasoning efficiency of individual models; and (2) Efficient Reasoning with Model Collaboration, which explores optimizing reasoning paths through collaboration among multiple models. Besides, we maintain a public GitHub repository that tracks the latest progress in efficient reasoning methods.

Não Pense Demais: Uma Análise de Modelos de Raciocínio em Grande Escala Eficientes no Estilo R1

Don't Overthink It: A Survey of Efficient R1-style Large Reasoning Models

Resumo

Support