Kunnen grote taalmodellen fouten detecteren in lange ketens van redeneringen?

Can Large Language Models Detect Errors in Long Chain-of-Thought Reasoning?

February 26, 2025

Auteurs: Yancheng He, Shilong Li, Jiaheng Liu, Weixun Wang, Xingyuan Bu, Ge Zhang, Zhongyuan Peng, Zhaoxiang Zhang, Wenbo Su, Bo Zheng

cs.AI

Samenvatting

Onlangs hebben o1-achtige modellen aanzienlijke aandacht getrokken, waarbij deze modellen lange Chain-of-Thought (CoT)-redeneerstappen produceren om de redeneervaardigheden van bestaande Large Language Models (LLMs) te verbeteren. In dit artikel introduceren we, om de kwaliteiten van deze lange CoTs te begrijpen en de kritiekvaardigheden van bestaande LLMs op deze lange CoTs te meten, de DeltaBench. Deze omvat de gegenereerde lange CoTs van verschillende o1-achtige modellen (bijv. QwQ, DeepSeek-R1) voor verschillende redeneertaken (bijv. Wiskunde, Code, Algemeen Redeneren), om het vermogen om fouten in lange CoT-redeneringen te detecteren te meten. Op basis van DeltaBench voeren we eerst een gedetailleerde analyse uit van de gegenereerde lange CoTs om de effectiviteit en efficiëntie van verschillende o1-achtige modellen te ontdekken. Vervolgens voeren we uitgebreide evaluaties uit van bestaande procesbeloningsmodellen (PRMs) en kritiekmodellen om de fouten van elk geannoteerd proces te detecteren, met als doel de grenzen en beperkingen van bestaande PRMs en kritiekmodellen te onderzoeken. Tot slot hopen we dat DeltaBench ontwikkelaars kan begeleiden om de lange CoT-redeneervaardigheden van hun modellen beter te begrijpen.

English

Recently, o1-like models have drawn significant attention, where these models produce the long Chain-of-Thought (CoT) reasoning steps to improve the reasoning abilities of existing Large Language Models (LLMs). In this paper, to understand the qualities of these long CoTs and measure the critique abilities of existing LLMs on these long CoTs, we introduce the DeltaBench, including the generated long CoTs from different o1-like models (e.g., QwQ, DeepSeek-R1) for different reasoning tasks (e.g., Math, Code, General Reasoning), to measure the ability to detect errors in long CoT reasoning. Based on DeltaBench, we first perform fine-grained analysis of the generated long CoTs to discover the effectiveness and efficiency of different o1-like models. Then, we conduct extensive evaluations of existing process reward models (PRMs) and critic models to detect the errors of each annotated process, which aims to investigate the boundaries and limitations of existing PRMs and critic models. Finally, we hope that DeltaBench could guide developers to better understand the long CoT reasoning abilities of their models.