大規模言語モデルを用いた知識拡張型複雑問題解決： サーベイ

Knowledge Augmented Complex Problem Solving with Large Language Models: A Survey

May 6, 2025

著者: Da Zheng, Lun Du, Junwei Su, Yuchen Tian, Yuqi Zhu, Jintian Zhang, Lanning Wei, Ningyu Zhang, Huajun Chen

cs.AI

要旨

問題解決は、数多くの領域において人類の進歩を促す基本的な原動力となってきた。人工知能の進展に伴い、大規模言語モデル（LLMs）は、多様な領域にわたる複雑な問題に取り組むことができる強力なツールとして登場した。従来の計算システムとは異なり、LLMsは生の計算能力と人間の推論を近似する能力を組み合わせることで、解決策を生成し、推論を行い、さらには外部の計算ツールを活用することさえ可能にしている。しかし、LLMsを現実世界の問題解決に適用するには、多段階推論、領域知識の統合、結果の検証といった重要な課題が存在する。本調査では、複雑な問題解決におけるLLMsの能力と限界を探り、Chain-of-Thought（CoT）推論、知識拡張、および様々なLLMベースおよびツールベースの検証技術を検討する。さらに、ソフトウェアエンジニアリング、数学的推論と証明、データ分析とモデリング、科学研究といった様々な領域における領域固有の課題を強調する。本論文では、さらに、現在のLLMソリューションの根本的な限界と、多段階推論、領域知識の統合、結果の検証の観点から見たLLMベースの複雑な問題解決の将来の方向性について議論する。

English

Problem-solving has been a fundamental driver of human progress in numerous domains. With advancements in artificial intelligence, Large Language Models (LLMs) have emerged as powerful tools capable of tackling complex problems across diverse domains. Unlike traditional computational systems, LLMs combine raw computational power with an approximation of human reasoning, allowing them to generate solutions, make inferences, and even leverage external computational tools. However, applying LLMs to real-world problem-solving presents significant challenges, including multi-step reasoning, domain knowledge integration, and result verification. This survey explores the capabilities and limitations of LLMs in complex problem-solving, examining techniques including Chain-of-Thought (CoT) reasoning, knowledge augmentation, and various LLM-based and tool-based verification techniques. Additionally, we highlight domain-specific challenges in various domains, such as software engineering, mathematical reasoning and proving, data analysis and modeling, and scientific research. The paper further discusses the fundamental limitations of the current LLM solutions and the future directions of LLM-based complex problems solving from the perspective of multi-step reasoning, domain knowledge integration and result verification.