大規模言語モデルは、長い連鎖思考推論におけるエラーを検出できるか？

要旨

最近、o1ライクなモデルが注目を集めており、これらのモデルは長いChain-of-Thought（CoT）推論ステップを生成することで、既存の大規模言語モデル（LLM）の推論能力を向上させています。本論文では、これらの長いCoTの質を理解し、既存のLLMがこれらの長いCoTに対して批判能力をどの程度持っているかを測定するために、DeltaBenchを導入します。DeltaBenchには、異なるo1ライクなモデル（例：QwQ、DeepSeek-R1）から生成された長いCoTが含まれており、さまざまな推論タスク（例：数学、コード、一般的な推論）に対して、長いCoT推論におけるエラーを検出する能力を測定します。DeltaBenchに基づいて、まず生成された長いCoTの詳細な分析を行い、異なるo1ライクなモデルの有効性と効率性を明らかにします。次に、既存のプロセス報酬モデル（PRM）と批評モデルを広範に評価し、各注釈付きプロセスのエラーを検出する能力を調査します。これにより、既存のPRMと批評モデルの境界と限界を探ります。最後に、DeltaBenchが開発者が自社モデルの長いCoT推論能力をより深く理解するための指針となることを期待しています。

English

Recently, o1-like models have drawn significant attention, where these models produce the long Chain-of-Thought (CoT) reasoning steps to improve the reasoning abilities of existing Large Language Models (LLMs). In this paper, to understand the qualities of these long CoTs and measure the critique abilities of existing LLMs on these long CoTs, we introduce the DeltaBench, including the generated long CoTs from different o1-like models (e.g., QwQ, DeepSeek-R1) for different reasoning tasks (e.g., Math, Code, General Reasoning), to measure the ability to detect errors in long CoT reasoning. Based on DeltaBench, we first perform fine-grained analysis of the generated long CoTs to discover the effectiveness and efficiency of different o1-like models. Then, we conduct extensive evaluations of existing process reward models (PRMs) and critic models to detect the errors of each annotated process, which aims to investigate the boundaries and limitations of existing PRMs and critic models. Finally, we hope that DeltaBench could guide developers to better understand the long CoT reasoning abilities of their models.

大規模言語モデルは、長い連鎖思考推論におけるエラーを検出できるか？

Can Large Language Models Detect Errors in Long Chain-of-Thought Reasoning?

要旨

Support