ChemAgent: Zelfbijwerkende Bibliotheek in Grote Taalmodellen Verbeteren Chemische Redenering

ChemAgent: Self-updating Library in Large Language Models Improves Chemical Reasoning

January 11, 2025

Auteurs: Xiangru Tang, Tianyu Hu, Muyang Ye, Yanjun Shao, Xunjian Yin, Siru Ouyang, Wangchunshu Zhou, Pan Lu, Zhuosheng Zhang, Yilun Zhao, Arman Cohan, Mark Gerstein

cs.AI

Samenvatting

Chemische redenering omvat doorgaans complexe, meerstapsprocessen die nauwkeurige berekeningen vereisen, waar zelfs kleine fouten kunnen leiden tot cascaderende mislukkingen. Bovendien ondervinden grote taalmodellen (LLM's) moeilijkheden bij het verwerken van domeinspecifieke formules, het nauwkeurig uitvoeren van redeneerstappen en het effectief integreren van code bij het aanpakken van chemische redeneertaken. Om deze uitdagingen aan te pakken, presenteren we ChemAgent, een nieuw raamwerk dat is ontworpen om de prestaties van LLM's te verbeteren door middel van een dynamische, zelfbijgewerkte bibliotheek. Deze bibliotheek is ontwikkeld door chemische taken op te splitsen in subtaken en deze subtaken samen te stellen tot een gestructureerde verzameling die kan worden geraadpleegd voor toekomstige vragen. Vervolgens, wanneer zich een nieuw probleem voordoet, haalt ChemAgent relevante informatie op en verfijnt deze uit de bibliotheek, die we geheugen noemen, wat effectieve taakdecompositie en de generatie van oplossingen vergemakkelijkt. Onze methode ontwerpt drie soorten geheugen en een bibliotheekverbeterd redeneercomponent, waardoor LLM's in de loop van de tijd kunnen verbeteren door ervaring. Experimentele resultaten op vier chemische redeneerdatasets van SciBench tonen aan dat ChemAgent prestatiewinsten tot 46% (GPT-4) behaalt, waarbij bestaande methoden aanzienlijk worden overtroffen. Onze bevindingen suggereren aanzienlijk potentieel voor toekomstige toepassingen, waaronder taken zoals medicijnontdekking en materiaalwetenschap. Onze code is te vinden op https://github.com/gersteinlab/chemagent

English

Chemical reasoning usually involves complex, multi-step processes that demand precise calculations, where even minor errors can lead to cascading failures. Furthermore, large language models (LLMs) encounter difficulties handling domain-specific formulas, executing reasoning steps accurately, and integrating code effectively when tackling chemical reasoning tasks. To address these challenges, we present ChemAgent, a novel framework designed to improve the performance of LLMs through a dynamic, self-updating library. This library is developed by decomposing chemical tasks into sub-tasks and compiling these sub-tasks into a structured collection that can be referenced for future queries. Then, when presented with a new problem, ChemAgent retrieves and refines pertinent information from the library, which we call memory, facilitating effective task decomposition and the generation of solutions. Our method designs three types of memory and a library-enhanced reasoning component, enabling LLMs to improve over time through experience. Experimental results on four chemical reasoning datasets from SciBench demonstrate that ChemAgent achieves performance gains of up to 46% (GPT-4), significantly outperforming existing methods. Our findings suggest substantial potential for future applications, including tasks such as drug discovery and materials science. Our code can be found at https://github.com/gersteinlab/chemagent