Классическое планирование с эвристиками, генерируемыми LLM: Бросая вызов современным подходам с использованием кода на Python

Classical Planning with LLM-Generated Heuristics: Challenging the State of the Art with Python Code

March 24, 2025

Авторы: Augusto B. Corrêa, André G. Pereira, Jendrik Seipp

cs.AI

Аннотация

В последние годы крупные языковые модели (LLMs) продемонстрировали впечатляющие способности в решении различных задач искусственного интеллекта. Однако они не справляются с надежным планированием, даже когда им предоставляется подробное описание задачи планирования. Попытки улучшить их способности к планированию, такие как использование цепочек рассуждений (chain-of-thought prompting), тонкая настройка (fine-tuning) и явное "рассуждение", всё равно приводят к некорректным планам и обычно не обобщаются на более крупные задачи. В данной статье мы показываем, как использовать LLMs для генерации корректных планов, даже для задач, выходящих за пределы распределения (out-of-distribution) и увеличивающихся в размере. Для заданной области планирования мы просим LLM сгенерировать несколько эвристических функций, зависящих от области, в виде кода на Python, оценить их на наборе обучающих задач в рамках жадного поиска по первому наилучшему совпадению (greedy best-first search) и выбрать наиболее эффективную. Полученные эвристики, сгенерированные LLM, решают значительно больше невидимых тестовых задач, чем современные эвристики, не зависящие от области, для классического планирования. Они даже конкурируют с самым мощным алгоритмом обучения для планирования, зависящего от области. Эти результаты особенно примечательны, учитывая, что наша реализация концепта основана на неоптимизированном планировщике на Python, а базовые методы используют высокооптимизированный код на C++. В некоторых областях эвристики, сгенерированные LLM, исследуют меньше состояний, чем базовые методы, что свидетельствует о том, что они не только эффективно вычисляются, но иногда даже более информативны, чем современные эвристики. В целом, наши результаты показывают, что выборка набора программ эвристических функций для планирования может значительно улучшить способности LLM к планированию.

English

In recent years, large language models (LLMs) have shown remarkable capabilities in various artificial intelligence problems. However, they fail to plan reliably, even when prompted with a detailed definition of the planning task. Attempts to improve their planning capabilities, such as chain-of-thought prompting, fine-tuning, and explicit "reasoning" still yield incorrect plans and usually fail to generalize to larger tasks. In this paper, we show how to use LLMs to generate correct plans, even for out-of-distribution tasks of increasing size. For a given planning domain, we ask an LLM to generate several domain-dependent heuristic functions in the form of Python code, evaluate them on a set of training tasks within a greedy best-first search, and choose the strongest one. The resulting LLM-generated heuristics solve many more unseen test tasks than state-of-the-art domain-independent heuristics for classical planning. They are even competitive with the strongest learning algorithm for domain-dependent planning. These findings are especially remarkable given that our proof-of-concept implementation is based on an unoptimized Python planner and the baselines all build upon highly optimized C++ code. In some domains, the LLM-generated heuristics expand fewer states than the baselines, revealing that they are not only efficiently computable, but sometimes even more informative than the state-of-the-art heuristics. Overall, our results show that sampling a set of planning heuristic function programs can significantly improve the planning capabilities of LLMs.