Können große Sprachmodelle Fehler in langen Ketten von Denkschritten erkennen?

Can Large Language Models Detect Errors in Long Chain-of-Thought Reasoning?

February 26, 2025

Autoren: Yancheng He, Shilong Li, Jiaheng Liu, Weixun Wang, Xingyuan Bu, Ge Zhang, Zhongyuan Peng, Zhaoxiang Zhang, Wenbo Su, Bo Zheng

cs.AI

Zusammenfassung

Kürzlich haben o1-ähnliche Modelle erhebliche Aufmerksamkeit erregt, da diese Modelle lange Chain-of-Thought (CoT)-Schritte erzeugen, um die Fähigkeiten bestehender großer Sprachmodelle (LLMs) im Bereich des logischen Denkens zu verbessern. In diesem Artikel führen wir DeltaBench ein, um die Qualitäten dieser langen CoTs zu verstehen und die Kritikfähigkeiten bestehender LLMs in Bezug auf diese langen CoTs zu messen. DeltaBench umfasst die generierten langen CoTs verschiedener o1-ähnlicher Modelle (z.B. QwQ, DeepSeek-R1) für verschiedene Denkaufgaben (z.B. Mathematik, Code, allgemeines logisches Denken), um die Fähigkeit zur Erkennung von Fehlern in langen CoT-Argumentationen zu bewerten. Basierend auf DeltaBench führen wir zunächst eine detaillierte Analyse der generierten langen CoTs durch, um die Effektivität und Effizienz verschiedener o1-ähnlicher Modelle zu untersuchen. Anschließend führen wir umfangreiche Bewertungen bestehender Prozessbewertungsmodelle (PRMs) und Kritikmodelle durch, um die Fehler in jedem annotierten Prozess zu erkennen. Dies soll die Grenzen und Einschränkungen bestehender PRMs und Kritikmodelle aufzeigen. Abschließend hoffen wir, dass DeltaBench Entwicklern dabei helfen kann, die langen CoT-Denkfähigkeiten ihrer Modelle besser zu verstehen.

English

Recently, o1-like models have drawn significant attention, where these models produce the long Chain-of-Thought (CoT) reasoning steps to improve the reasoning abilities of existing Large Language Models (LLMs). In this paper, to understand the qualities of these long CoTs and measure the critique abilities of existing LLMs on these long CoTs, we introduce the DeltaBench, including the generated long CoTs from different o1-like models (e.g., QwQ, DeepSeek-R1) for different reasoning tasks (e.g., Math, Code, General Reasoning), to measure the ability to detect errors in long CoT reasoning. Based on DeltaBench, we first perform fine-grained analysis of the generated long CoTs to discover the effectiveness and efficiency of different o1-like models. Then, we conduct extensive evaluations of existing process reward models (PRMs) and critic models to detect the errors of each annotated process, which aims to investigate the boundaries and limitations of existing PRMs and critic models. Finally, we hope that DeltaBench could guide developers to better understand the long CoT reasoning abilities of their models.