Resolución de Problemas Complejos Aumentada con Conocimiento mediante Modelos de Lenguaje de Gran Escala: Una Revisión

Knowledge Augmented Complex Problem Solving with Large Language Models: A Survey

May 6, 2025

Autores: Da Zheng, Lun Du, Junwei Su, Yuchen Tian, Yuqi Zhu, Jintian Zhang, Lanning Wei, Ningyu Zhang, Huajun Chen

cs.AI

Resumen

La resolución de problemas ha sido un motor fundamental del progreso humano en numerosos dominios. Con los avances en inteligencia artificial, los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) han surgido como herramientas poderosas capaces de abordar problemas complejos en diversos campos. A diferencia de los sistemas computacionales tradicionales, los LLMs combinan el poder computacional bruto con una aproximación al razonamiento humano, lo que les permite generar soluciones, hacer inferencias e incluso aprovechar herramientas computacionales externas. Sin embargo, aplicar los LLMs a la resolución de problemas del mundo real presenta desafíos significativos, como el razonamiento de múltiples pasos, la integración de conocimiento de dominio y la verificación de resultados. Este estudio explora las capacidades y limitaciones de los LLMs en la resolución de problemas complejos, examinando técnicas como el razonamiento en Cadena de Pensamiento (CoT, por sus siglas en inglés), la ampliación de conocimiento y diversas técnicas de verificación basadas en LLMs y herramientas. Además, destacamos los desafíos específicos de dominio en áreas como la ingeniería de software, el razonamiento y demostración matemática, el análisis y modelado de datos, y la investigación científica. El artículo también discute las limitaciones fundamentales de las soluciones actuales basadas en LLMs y las direcciones futuras para la resolución de problemas complejos utilizando LLMs, desde la perspectiva del razonamiento de múltiples pasos, la integración de conocimiento de dominio y la verificación de resultados.

English

Problem-solving has been a fundamental driver of human progress in numerous domains. With advancements in artificial intelligence, Large Language Models (LLMs) have emerged as powerful tools capable of tackling complex problems across diverse domains. Unlike traditional computational systems, LLMs combine raw computational power with an approximation of human reasoning, allowing them to generate solutions, make inferences, and even leverage external computational tools. However, applying LLMs to real-world problem-solving presents significant challenges, including multi-step reasoning, domain knowledge integration, and result verification. This survey explores the capabilities and limitations of LLMs in complex problem-solving, examining techniques including Chain-of-Thought (CoT) reasoning, knowledge augmentation, and various LLM-based and tool-based verification techniques. Additionally, we highlight domain-specific challenges in various domains, such as software engineering, mathematical reasoning and proving, data analysis and modeling, and scientific research. The paper further discusses the fundamental limitations of the current LLM solutions and the future directions of LLM-based complex problems solving from the perspective of multi-step reasoning, domain knowledge integration and result verification.