ChemAgent: Самообновляемая библиотека в больших языковых моделях улучшает химическое мышление

ChemAgent: Self-updating Library in Large Language Models Improves Chemical Reasoning

January 11, 2025

Авторы: Xiangru Tang, Tianyu Hu, Muyang Ye, Yanjun Shao, Xunjian Yin, Siru Ouyang, Wangchunshu Zhou, Pan Lu, Zhuosheng Zhang, Yilun Zhao, Arman Cohan, Mark Gerstein

cs.AI

Аннотация

Химическое рассуждение обычно включает в себя сложные многоэтапные процессы, требующие точных расчетов, где даже мелкие ошибки могут привести к каскадным сбоям. Более того, большие языковые модели (LLM) сталкиваются с трудностями в обработке формул, специфичных для области, точном выполнении рассуждений и эффективном интегрировании кода при решении химических задач. Для решения этих проблем мы представляем ChemAgent, новую концепцию, разработанную для улучшения производительности LLM через динамическую, самообновляющуюся библиотеку. Эта библиотека разрабатывается путем декомпозиции химических задач на подзадачи и компиляции их в структурированную коллекцию, на которую можно ссылаться для будущих запросов. Затем, когда поступает новая проблема, ChemAgent извлекает и уточняет соответствующую информацию из библиотеки, которую мы называем памятью, облегчая эффективную декомпозицию задач и генерацию решений. Наш метод разрабатывает три типа памяти и компонент рассуждения, улучшенный библиотекой, позволяющий LLM улучшаться со временем благодаря опыту. Экспериментальные результаты на четырех наборах данных по химическому рассуждению из SciBench показывают, что ChemAgent достигает увеличения производительности до 46% (GPT-4), значительно превосходя существующие методы. Наши результаты указывают на значительный потенциал для будущих применений, включая задачи, такие как поиск лекарств и материаловедение. Наш код можно найти по адресу https://github.com/gersteinlab/chemagent

English

Chemical reasoning usually involves complex, multi-step processes that demand precise calculations, where even minor errors can lead to cascading failures. Furthermore, large language models (LLMs) encounter difficulties handling domain-specific formulas, executing reasoning steps accurately, and integrating code effectively when tackling chemical reasoning tasks. To address these challenges, we present ChemAgent, a novel framework designed to improve the performance of LLMs through a dynamic, self-updating library. This library is developed by decomposing chemical tasks into sub-tasks and compiling these sub-tasks into a structured collection that can be referenced for future queries. Then, when presented with a new problem, ChemAgent retrieves and refines pertinent information from the library, which we call memory, facilitating effective task decomposition and the generation of solutions. Our method designs three types of memory and a library-enhanced reasoning component, enabling LLMs to improve over time through experience. Experimental results on four chemical reasoning datasets from SciBench demonstrate that ChemAgent achieves performance gains of up to 46% (GPT-4), significantly outperforming existing methods. Our findings suggest substantial potential for future applications, including tasks such as drug discovery and materials science. Our code can be found at https://github.com/gersteinlab/chemagent