Resolução de Problemas Complexos Aumentada por Conhecimento com Modelos de Linguagem de Grande Escala: Uma Revisão

Knowledge Augmented Complex Problem Solving with Large Language Models: A Survey

May 6, 2025

Autores: Da Zheng, Lun Du, Junwei Su, Yuchen Tian, Yuqi Zhu, Jintian Zhang, Lanning Wei, Ningyu Zhang, Huajun Chen

cs.AI

Resumo

A resolução de problemas tem sido um impulsionador fundamental do progresso humano em diversos domínios. Com os avanços na inteligência artificial, os Modelos de Linguagem de Grande Escala (LLMs, na sigla em inglês) surgiram como ferramentas poderosas capazes de lidar com problemas complexos em diferentes áreas. Diferentemente dos sistemas computacionais tradicionais, os LLMs combinam poder bruto de processamento com uma aproximação do raciocínio humano, permitindo que gerem soluções, façam inferências e até mesmo utilizem ferramentas computacionais externas. No entanto, a aplicação de LLMs na resolução de problemas do mundo real apresenta desafios significativos, incluindo raciocínio em múltiplas etapas, integração de conhecimento de domínio e verificação de resultados. Esta pesquisa explora as capacidades e limitações dos LLMs na resolução de problemas complexos, examinando técnicas como o raciocínio em Cadeia de Pensamento (Chain-of-Thought, CoT), aumento de conhecimento e diversas técnicas de verificação baseadas em LLMs e em ferramentas. Além disso, destacamos desafios específicos de domínio em áreas como engenharia de software, raciocínio e prova matemática, análise e modelagem de dados, e pesquisa científica. O artigo discute ainda as limitações fundamentais das soluções atuais baseadas em LLMs e as direções futuras para a resolução de problemas complexos com base em LLMs, sob a perspectiva de raciocínio em múltiplas etapas, integração de conhecimento de domínio e verificação de resultados.

English

Problem-solving has been a fundamental driver of human progress in numerous domains. With advancements in artificial intelligence, Large Language Models (LLMs) have emerged as powerful tools capable of tackling complex problems across diverse domains. Unlike traditional computational systems, LLMs combine raw computational power with an approximation of human reasoning, allowing them to generate solutions, make inferences, and even leverage external computational tools. However, applying LLMs to real-world problem-solving presents significant challenges, including multi-step reasoning, domain knowledge integration, and result verification. This survey explores the capabilities and limitations of LLMs in complex problem-solving, examining techniques including Chain-of-Thought (CoT) reasoning, knowledge augmentation, and various LLM-based and tool-based verification techniques. Additionally, we highlight domain-specific challenges in various domains, such as software engineering, mathematical reasoning and proving, data analysis and modeling, and scientific research. The paper further discusses the fundamental limitations of the current LLM solutions and the future directions of LLM-based complex problems solving from the perspective of multi-step reasoning, domain knowledge integration and result verification.