Kennisuitgebreid Complex Probleemoplossen met Grote Taalmodellen: Een Overzicht

Knowledge Augmented Complex Problem Solving with Large Language Models: A Survey

May 6, 2025

Auteurs: Da Zheng, Lun Du, Junwei Su, Yuchen Tian, Yuqi Zhu, Jintian Zhang, Lanning Wei, Ningyu Zhang, Huajun Chen

cs.AI

Samenvatting

Probleemoplossing is altijd een fundamentele drijfveer geweest van menselijke vooruitgang in talloze domeinen. Met de vooruitgang in kunstmatige intelligentie zijn Large Language Models (LLMs) naar voren gekomen als krachtige tools die complexe problemen in diverse domeinen kunnen aanpakken. In tegenstelling tot traditionele computationele systemen combineren LLMs ruwe rekenkracht met een benadering van menselijk redeneren, waardoor ze oplossingen kunnen genereren, inferenties kunnen maken en zelfs externe computationele tools kunnen benutten. Het toepassen van LLMs op probleemoplossing in de echte wereld brengt echter aanzienlijke uitdagingen met zich mee, zoals meerstapsredenering, integratie van domeinkennis en verificatie van resultaten. Dit overzicht onderzoekt de mogelijkheden en beperkingen van LLMs bij complexe probleemoplossing, waarbij technieken zoals Chain-of-Thought (CoT) redeneren, kennisuitbreiding en diverse LLM-gebaseerde en tool-gebaseerde verificatietechnieken worden besproken. Daarnaast belichten we domeinspecifieke uitdagingen in verschillende domeinen, zoals software engineering, wiskundig redeneren en bewijzen, data-analyse en modellering, en wetenschappelijk onderzoek. Het artikel gaat verder in op de fundamentele beperkingen van de huidige LLM-oplossingen en de toekomstige richtingen van LLM-gebaseerde complexe probleemoplossing vanuit het perspectief van meerstapsredenering, integratie van domeinkennis en verificatie van resultaten.

English

Problem-solving has been a fundamental driver of human progress in numerous domains. With advancements in artificial intelligence, Large Language Models (LLMs) have emerged as powerful tools capable of tackling complex problems across diverse domains. Unlike traditional computational systems, LLMs combine raw computational power with an approximation of human reasoning, allowing them to generate solutions, make inferences, and even leverage external computational tools. However, applying LLMs to real-world problem-solving presents significant challenges, including multi-step reasoning, domain knowledge integration, and result verification. This survey explores the capabilities and limitations of LLMs in complex problem-solving, examining techniques including Chain-of-Thought (CoT) reasoning, knowledge augmentation, and various LLM-based and tool-based verification techniques. Additionally, we highlight domain-specific challenges in various domains, such as software engineering, mathematical reasoning and proving, data analysis and modeling, and scientific research. The paper further discusses the fundamental limitations of the current LLM solutions and the future directions of LLM-based complex problems solving from the perspective of multi-step reasoning, domain knowledge integration and result verification.