Os Grandes Modelos de Linguagem conseguem Detectar Erros em Raciocínios Longos em Cadeia de Pensamento?

Can Large Language Models Detect Errors in Long Chain-of-Thought Reasoning?

February 26, 2025

Autores: Yancheng He, Shilong Li, Jiaheng Liu, Weixun Wang, Xingyuan Bu, Ge Zhang, Zhongyuan Peng, Zhaoxiang Zhang, Wenbo Su, Bo Zheng

cs.AI

Resumo

Recentemente, os modelos o1-like têm atraído atenção significativa, onde esses modelos produzem os longos passos de raciocínio em Cadeia-de-Pensamento (CoT) para melhorar as habilidades de raciocínio dos Modelos de Linguagem Grandes (LLMs) existentes. Neste artigo, para compreender as qualidades desses longos CoTs e medir as habilidades de crítica dos LLMs existentes sobre esses longos CoTs, introduzimos o DeltaBench, incluindo os longos CoTs gerados de diferentes modelos o1-like (por exemplo, QwQ, DeepSeek-R1) para diferentes tarefas de raciocínio (por exemplo, Matemática, Código, Raciocínio Geral), para medir a capacidade de detectar erros no raciocínio em longos CoTs. Com base no DeltaBench, realizamos inicialmente uma análise detalhada dos longos CoTs gerados para descobrir a eficácia e eficiência de diferentes modelos o1-like. Em seguida, realizamos extensas avaliações dos modelos de recompensa de processo existentes (PRMs) e modelos de crítica para detectar os erros de cada processo anotado, com o objetivo de investigar os limites e as limitações dos PRMs e modelos de crítica existentes. Por fim, esperamos que o DeltaBench possa orientar os desenvolvedores a compreender melhor as habilidades de raciocínio em longos CoTs de seus modelos.

English

Recently, o1-like models have drawn significant attention, where these models produce the long Chain-of-Thought (CoT) reasoning steps to improve the reasoning abilities of existing Large Language Models (LLMs). In this paper, to understand the qualities of these long CoTs and measure the critique abilities of existing LLMs on these long CoTs, we introduce the DeltaBench, including the generated long CoTs from different o1-like models (e.g., QwQ, DeepSeek-R1) for different reasoning tasks (e.g., Math, Code, General Reasoning), to measure the ability to detect errors in long CoT reasoning. Based on DeltaBench, we first perform fine-grained analysis of the generated long CoTs to discover the effectiveness and efficiency of different o1-like models. Then, we conduct extensive evaluations of existing process reward models (PRMs) and critic models to detect the errors of each annotated process, which aims to investigate the boundaries and limitations of existing PRMs and critic models. Finally, we hope that DeltaBench could guide developers to better understand the long CoT reasoning abilities of their models.