대형 언어 모델은 긴 사고 사슬 추론에서 오류를 감지할 수 있는가?

Can Large Language Models Detect Errors in Long Chain-of-Thought Reasoning?

February 26, 2025

저자: Yancheng He, Shilong Li, Jiaheng Liu, Weixun Wang, Xingyuan Bu, Ge Zhang, Zhongyuan Peng, Zhaoxiang Zhang, Wenbo Su, Bo Zheng

cs.AI

초록

최근 o1-like 모델들이 큰 주목을 받고 있는데, 이러한 모델들은 기존 대형 언어 모델(LLMs)의 추론 능력을 향상시키기 위해 긴 사고의 연쇄(Chain-of-Thought, CoT) 단계를 생성합니다. 본 논문에서는 이러한 긴 CoT의 특성을 이해하고 기존 LLM들이 이러한 긴 CoT에 대한 비판 능력을 측정하기 위해 DeltaBench을 소개합니다. DeltaBench은 다양한 o1-like 모델(예: QwQ, DeepSeek-R1)에서 생성된 긴 CoT를 포함하며, 다양한 추론 작업(예: 수학, 코드, 일반 추론)에 대해 긴 CoT 추론에서의 오류를 탐지하는 능력을 측정합니다. DeltaBench을 기반으로, 우리는 먼저 생성된 긴 CoT에 대한 세부 분석을 수행하여 다양한 o1-like 모델의 효과성과 효율성을 발견합니다. 그런 다음, 기존의 과정 보상 모델(PRMs)과 비평 모델(critic models)을 광범위하게 평가하여 각 주석 처리된 과정의 오류를 탐지함으로써 기존 PRMs와 비평 모델의 한계와 경계를 조사합니다. 마지막으로, DeltaBench이 개발자들이 자신의 모델의 긴 CoT 추론 능력을 더 잘 이해할 수 있도록 안내할 수 있기를 바랍니다.

English

Recently, o1-like models have drawn significant attention, where these models produce the long Chain-of-Thought (CoT) reasoning steps to improve the reasoning abilities of existing Large Language Models (LLMs). In this paper, to understand the qualities of these long CoTs and measure the critique abilities of existing LLMs on these long CoTs, we introduce the DeltaBench, including the generated long CoTs from different o1-like models (e.g., QwQ, DeepSeek-R1) for different reasoning tasks (e.g., Math, Code, General Reasoning), to measure the ability to detect errors in long CoT reasoning. Based on DeltaBench, we first perform fine-grained analysis of the generated long CoTs to discover the effectiveness and efficiency of different o1-like models. Then, we conduct extensive evaluations of existing process reward models (PRMs) and critic models to detect the errors of each annotated process, which aims to investigate the boundaries and limitations of existing PRMs and critic models. Finally, we hope that DeltaBench could guide developers to better understand the long CoT reasoning abilities of their models.