Risoluzione di Problemi Complessi Aumentata dalla Conoscenza con Modelli Linguistici di Grande Dimensione: Una Rassegna

Knowledge Augmented Complex Problem Solving with Large Language Models: A Survey

May 6, 2025

Autori: Da Zheng, Lun Du, Junwei Su, Yuchen Tian, Yuqi Zhu, Jintian Zhang, Lanning Wei, Ningyu Zhang, Huajun Chen

cs.AI

Abstract

La risoluzione di problemi è stata un motore fondamentale del progresso umano in numerosi ambiti. Con i progressi nell'intelligenza artificiale, i Large Language Models (LLM) sono emersi come strumenti potenti in grado di affrontare problemi complessi in diversi domini. A differenza dei sistemi computazionali tradizionali, gli LLM combinano la potenza di calcolo grezza con un'approssimazione del ragionamento umano, consentendo loro di generare soluzioni, fare inferenze e persino sfruttare strumenti computazionali esterni. Tuttavia, l'applicazione degli LLM alla risoluzione di problemi nel mondo reale presenta sfide significative, tra cui il ragionamento a più passaggi, l'integrazione delle conoscenze di dominio e la verifica dei risultati. Questa rassegna esplora le capacità e i limiti degli LLM nella risoluzione di problemi complessi, esaminando tecniche come il ragionamento a catena di pensiero (Chain-of-Thought, CoT), l'ampliamento delle conoscenze e varie tecniche di verifica basate su LLM e su strumenti esterni. Inoltre, evidenziamo le sfide specifiche di dominio in vari ambiti, come l'ingegneria del software, il ragionamento e la dimostrazione matematica, l'analisi e la modellazione dei dati, e la ricerca scientifica. Il documento discute ulteriormente le limitazioni fondamentali delle attuali soluzioni basate su LLM e le direzioni future della risoluzione di problemi complessi basata su LLM, dal punto di vista del ragionamento a più passaggi, dell'integrazione delle conoscenze di dominio e della verifica dei risultati.

English

Problem-solving has been a fundamental driver of human progress in numerous domains. With advancements in artificial intelligence, Large Language Models (LLMs) have emerged as powerful tools capable of tackling complex problems across diverse domains. Unlike traditional computational systems, LLMs combine raw computational power with an approximation of human reasoning, allowing them to generate solutions, make inferences, and even leverage external computational tools. However, applying LLMs to real-world problem-solving presents significant challenges, including multi-step reasoning, domain knowledge integration, and result verification. This survey explores the capabilities and limitations of LLMs in complex problem-solving, examining techniques including Chain-of-Thought (CoT) reasoning, knowledge augmentation, and various LLM-based and tool-based verification techniques. Additionally, we highlight domain-specific challenges in various domains, such as software engineering, mathematical reasoning and proving, data analysis and modeling, and scientific research. The paper further discusses the fundamental limitations of the current LLM solutions and the future directions of LLM-based complex problems solving from the perspective of multi-step reasoning, domain knowledge integration and result verification.