대규모 언어 모델을 활용한 지식 증강 복잡 문제 해결: 연구 동향 분석

Knowledge Augmented Complex Problem Solving with Large Language Models: A Survey

May 6, 2025

저자: Da Zheng, Lun Du, Junwei Su, Yuchen Tian, Yuqi Zhu, Jintian Zhang, Lanning Wei, Ningyu Zhang, Huajun Chen

cs.AI

초록

문제 해결은 다양한 분야에서 인간의 진보를 이끄는 근본적인 동력이 되어왔습니다. 인공지능의 발전과 함께, 대형 언어 모델(LLMs)은 복잡한 문제를 해결할 수 있는 강력한 도구로 부상했습니다. 전통적인 계산 시스템과 달리, LLMs은 원시적인 계산 능력과 인간의 사고 방식을 근사화한 것을 결합하여 해결책을 생성하고, 추론을 수행하며, 외부 계산 도구를 활용할 수 있습니다. 그러나 LLMs를 실제 문제 해결에 적용하는 것은 다단계 추론, 도메인 지식 통합, 결과 검증 등 상당한 도전 과제를 안고 있습니다. 본 논문은 CoT(Chain-of-Thought) 추론, 지식 증강, 다양한 LLM 기반 및 도구 기반 검증 기법을 포함한 기술을 검토하며, LLMs의 복잡한 문제 해결 능력과 한계를 탐구합니다. 또한, 소프트웨어 공학, 수학적 추론 및 증명, 데이터 분석 및 모델링, 과학 연구와 같은 다양한 분야에서의 도메인 특화적 도전 과제를 강조합니다. 이 논문은 더 나아가 현재 LLM 솔루션의 근본적인 한계와 다단계 추론, 도메인 지식 통합, 결과 검증의 관점에서 LLM 기반 복잡 문제 해결의 미래 방향에 대해 논의합니다.

English

Problem-solving has been a fundamental driver of human progress in numerous domains. With advancements in artificial intelligence, Large Language Models (LLMs) have emerged as powerful tools capable of tackling complex problems across diverse domains. Unlike traditional computational systems, LLMs combine raw computational power with an approximation of human reasoning, allowing them to generate solutions, make inferences, and even leverage external computational tools. However, applying LLMs to real-world problem-solving presents significant challenges, including multi-step reasoning, domain knowledge integration, and result verification. This survey explores the capabilities and limitations of LLMs in complex problem-solving, examining techniques including Chain-of-Thought (CoT) reasoning, knowledge augmentation, and various LLM-based and tool-based verification techniques. Additionally, we highlight domain-specific challenges in various domains, such as software engineering, mathematical reasoning and proving, data analysis and modeling, and scientific research. The paper further discusses the fundamental limitations of the current LLM solutions and the future directions of LLM-based complex problems solving from the perspective of multi-step reasoning, domain knowledge integration and result verification.