Wissensgestütztes Lösen komplexer Probleme mit großen Sprachmodellen: Ein Überblick

Knowledge Augmented Complex Problem Solving with Large Language Models: A Survey

May 6, 2025

Autoren: Da Zheng, Lun Du, Junwei Su, Yuchen Tian, Yuqi Zhu, Jintian Zhang, Lanning Wei, Ningyu Zhang, Huajun Chen

cs.AI

Zusammenfassung

Problemlösung war ein grundlegender Treiber des menschlichen Fortschritts in zahlreichen Bereichen. Mit den Fortschritten in der künstlichen Intelligenz sind Large Language Models (LLMs) als leistungsstarke Werkzeuge hervorgegangen, die in der Lage sind, komplexe Probleme in verschiedenen Domänen zu bewältigen. Im Gegensatz zu traditionellen rechenbasierten Systemen kombinieren LLMs rohe Rechenleistung mit einer Annäherung an menschliches Denken, wodurch sie Lösungen generieren, Schlussfolgerungen ziehen und sogar externe Rechenwerkzeuge nutzen können. Die Anwendung von LLMs auf die reale Problemlösung birgt jedoch erhebliche Herausforderungen, darunter mehrstufiges Denken, die Integration von Domänenwissen und die Überprüfung von Ergebnissen. Diese Übersichtsarbeit untersucht die Fähigkeiten und Grenzen von LLMs bei der Lösung komplexer Probleme und betrachtet Techniken wie Chain-of-Thought (CoT)-Denken, Wissenserweiterung sowie verschiedene LLM-basierte und werkzeuggestützte Überprüfungsmethoden. Darüber hinaus beleuchten wir domänenspezifische Herausforderungen in Bereichen wie Softwareentwicklung, mathematischem Denken und Beweisen, Datenanalyse und Modellierung sowie wissenschaftlicher Forschung. Die Arbeit diskutiert weiterhin die grundlegenden Grenzen der aktuellen LLM-Lösungen und zukünftige Richtungen der LLM-basierten Lösung komplexer Probleme aus der Perspektive von mehrstufigem Denken, Domänenwissenintegration und Ergebnisüberprüfung.

English

Problem-solving has been a fundamental driver of human progress in numerous domains. With advancements in artificial intelligence, Large Language Models (LLMs) have emerged as powerful tools capable of tackling complex problems across diverse domains. Unlike traditional computational systems, LLMs combine raw computational power with an approximation of human reasoning, allowing them to generate solutions, make inferences, and even leverage external computational tools. However, applying LLMs to real-world problem-solving presents significant challenges, including multi-step reasoning, domain knowledge integration, and result verification. This survey explores the capabilities and limitations of LLMs in complex problem-solving, examining techniques including Chain-of-Thought (CoT) reasoning, knowledge augmentation, and various LLM-based and tool-based verification techniques. Additionally, we highlight domain-specific challenges in various domains, such as software engineering, mathematical reasoning and proving, data analysis and modeling, and scientific research. The paper further discusses the fundamental limitations of the current LLM solutions and the future directions of LLM-based complex problems solving from the perspective of multi-step reasoning, domain knowledge integration and result verification.