ChemAgent : Bibliothèque auto-actualisante dans les grands modèles de langage améliore le raisonnement chimique

ChemAgent: Self-updating Library in Large Language Models Improves Chemical Reasoning

January 11, 2025

Auteurs: Xiangru Tang, Tianyu Hu, Muyang Ye, Yanjun Shao, Xunjian Yin, Siru Ouyang, Wangchunshu Zhou, Pan Lu, Zhuosheng Zhang, Yilun Zhao, Arman Cohan, Mark Gerstein

cs.AI

Résumé

Le raisonnement chimique implique généralement des processus complexes et multi-étapes qui exigent des calculs précis, où même de légères erreurs peuvent entraîner des échecs en cascade. De plus, les grands modèles de langage (LLMs) rencontrent des difficultés à traiter les formules spécifiques au domaine, à exécuter les étapes de raisonnement avec précision et à intégrer efficacement du code lors de la résolution de tâches de raisonnement chimique. Pour relever ces défis, nous présentons ChemAgent, un nouveau cadre conçu pour améliorer les performances des LLMs grâce à une bibliothèque dynamique et auto-actualisée. Cette bibliothèque est développée en décomposant les tâches chimiques en sous-tâches et en compilant ces sous-tâches dans une collection structurée pouvant être référencée pour des requêtes futures. Ensuite, lorsqu'un nouveau problème est présenté, ChemAgent extrait et affine les informations pertinentes de la bibliothèque, que nous appelons mémoire, facilitant la décomposition efficace des tâches et la génération de solutions. Notre méthode conçoit trois types de mémoire et un composant de raisonnement amélioré par la bibliothèque, permettant aux LLMs de s'améliorer avec le temps grâce à l'expérience. Les résultats expérimentaux sur quatre ensembles de données de raisonnement chimique de SciBench montrent que ChemAgent obtient des gains de performance allant jusqu'à 46% (GPT-4), surpassant significativement les méthodes existantes. Nos résultats suggèrent un potentiel substantiel pour des applications futures, notamment dans des tâches telles que la découverte de médicaments et la science des matériaux. Notre code est disponible sur https://github.com/gersteinlab/chemagent

English

Chemical reasoning usually involves complex, multi-step processes that demand precise calculations, where even minor errors can lead to cascading failures. Furthermore, large language models (LLMs) encounter difficulties handling domain-specific formulas, executing reasoning steps accurately, and integrating code effectively when tackling chemical reasoning tasks. To address these challenges, we present ChemAgent, a novel framework designed to improve the performance of LLMs through a dynamic, self-updating library. This library is developed by decomposing chemical tasks into sub-tasks and compiling these sub-tasks into a structured collection that can be referenced for future queries. Then, when presented with a new problem, ChemAgent retrieves and refines pertinent information from the library, which we call memory, facilitating effective task decomposition and the generation of solutions. Our method designs three types of memory and a library-enhanced reasoning component, enabling LLMs to improve over time through experience. Experimental results on four chemical reasoning datasets from SciBench demonstrate that ChemAgent achieves performance gains of up to 46% (GPT-4), significantly outperforming existing methods. Our findings suggest substantial potential for future applications, including tasks such as drug discovery and materials science. Our code can be found at https://github.com/gersteinlab/chemagent