Решение сложных задач с расширением знаний с использованием больших языковых моделей: обзор

Knowledge Augmented Complex Problem Solving with Large Language Models: A Survey

May 6, 2025

Авторы: Da Zheng, Lun Du, Junwei Su, Yuchen Tian, Yuqi Zhu, Jintian Zhang, Lanning Wei, Ningyu Zhang, Huajun Chen

cs.AI

Аннотация

Решение проблем всегда было ключевым двигателем человеческого прогресса в различных областях. С развитием искусственного интеллекта крупные языковые модели (LLM) стали мощными инструментами, способными решать сложные задачи в самых разных сферах. В отличие от традиционных вычислительных систем, LLM сочетают в себе вычислительную мощь с приближением к человеческому мышлению, что позволяет им генерировать решения, делать выводы и даже использовать внешние вычислительные инструменты. Однако применение LLM к решению реальных задач сопряжено с серьёзными трудностями, включая многошаговое рассуждение, интеграцию предметных знаний и проверку результатов. В данном обзоре исследуются возможности и ограничения LLM в решении сложных задач, рассматриваются такие методы, как рассуждение по цепочке мыслей (Chain-of-Thought, CoT), расширение знаний, а также различные подходы к проверке результатов, основанные на LLM и внешних инструментах. Кроме того, подчеркиваются специфические вызовы в различных областях, таких как разработка программного обеспечения, математические рассуждения и доказательства, анализ данных и моделирование, а также научные исследования. В статье также обсуждаются фундаментальные ограничения современных решений на основе LLM и перспективные направления развития решения сложных задач с использованием LLM с точки зрения многошагового рассуждения, интеграции предметных знаний и проверки результатов.

English

Problem-solving has been a fundamental driver of human progress in numerous domains. With advancements in artificial intelligence, Large Language Models (LLMs) have emerged as powerful tools capable of tackling complex problems across diverse domains. Unlike traditional computational systems, LLMs combine raw computational power with an approximation of human reasoning, allowing them to generate solutions, make inferences, and even leverage external computational tools. However, applying LLMs to real-world problem-solving presents significant challenges, including multi-step reasoning, domain knowledge integration, and result verification. This survey explores the capabilities and limitations of LLMs in complex problem-solving, examining techniques including Chain-of-Thought (CoT) reasoning, knowledge augmentation, and various LLM-based and tool-based verification techniques. Additionally, we highlight domain-specific challenges in various domains, such as software engineering, mathematical reasoning and proving, data analysis and modeling, and scientific research. The paper further discusses the fundamental limitations of the current LLM solutions and the future directions of LLM-based complex problems solving from the perspective of multi-step reasoning, domain knowledge integration and result verification.