大規模言語モデル（LLM）の熟慮的推論能力を評価・改善するためのリフレクティブパズル解決手法FINEREASON
Abstract
大規模言語モデル（LLM）は、複雑な推論タスクにおいて驚くべき能力を発揮しているが、熟慮的で体系的な推論プロセスを実行する能力には依然として課題がある。本論文では、LLMの熟慮的推論能力を評価・改善するための新しいアプローチであるFINEREASONを提案する。FINEREASONは、LLMがパズルを解決する際に、自身の推論プロセスを振り返り、誤りを特定し、修正する能力を促進するリフレクティブ推論フレームワークを提供する。我々は、複数のLLMに対してFINEREASONを適用し、その有効性を実証する。実験結果は、FINEREASONがLLMの推論精度を大幅に向上させ、より体系的な推論プロセスを実現することを示している。さらに、FINEREASONはLLMの推論プロセスを透明化し、その内部動作を理解するための貴重な洞察を提供する。本論文は、LLMの推論能力を向上させる新たな方向性を示すとともに、人間とAIの協調的な問題解決に向けた重要な一歩を踏み出すものである。
FINEREASON: Evaluating and Improving LLMs' Deliberate Reasoning through
Reflective Puzzle Solving