ChemAgent: Biblioteca autoactualizable en modelos de lenguaje grandes mejora el razonamiento químico.

ChemAgent: Self-updating Library in Large Language Models Improves Chemical Reasoning

January 11, 2025

Autores: Xiangru Tang, Tianyu Hu, Muyang Ye, Yanjun Shao, Xunjian Yin, Siru Ouyang, Wangchunshu Zhou, Pan Lu, Zhuosheng Zhang, Yilun Zhao, Arman Cohan, Mark Gerstein

cs.AI

Resumen

El razonamiento químico generalmente implica procesos complejos y de múltiples pasos que requieren cálculos precisos, donde incluso errores menores pueden provocar fallas en cascada. Además, los grandes modelos de lenguaje (LLMs, por sus siglas en inglés) encuentran dificultades para manejar fórmulas específicas del dominio, ejecutar pasos de razonamiento con precisión e integrar código de manera efectiva al abordar tareas de razonamiento químico. Para abordar estos desafíos, presentamos ChemAgent, un marco novedoso diseñado para mejorar el rendimiento de los LLMs a través de una biblioteca dinámica y autoactualizable. Esta biblioteca se desarrolla descomponiendo tareas químicas en subtareas y compilando estas en una colección estructurada que puede ser referenciada para consultas futuras. Luego, al enfrentarse a un nuevo problema, ChemAgent recupera y perfecciona información pertinente de la biblioteca, a la que llamamos memoria, facilitando la descomposición efectiva de tareas y la generación de soluciones. Nuestro método diseña tres tipos de memoria y un componente de razonamiento mejorado por la biblioteca, permitiendo a los LLMs mejorar con el tiempo a través de la experiencia. Los resultados experimentales en cuatro conjuntos de datos de razonamiento químico de SciBench demuestran que ChemAgent logra mejoras de rendimiento de hasta un 46% (GPT-4), superando significativamente a los métodos existentes. Nuestros hallazgos sugieren un potencial sustancial para futuras aplicaciones, incluidas tareas como el descubrimiento de fármacos y la ciencia de materiales. Nuestro código se puede encontrar en https://github.com/gersteinlab/chemagent

English

Chemical reasoning usually involves complex, multi-step processes that demand precise calculations, where even minor errors can lead to cascading failures. Furthermore, large language models (LLMs) encounter difficulties handling domain-specific formulas, executing reasoning steps accurately, and integrating code effectively when tackling chemical reasoning tasks. To address these challenges, we present ChemAgent, a novel framework designed to improve the performance of LLMs through a dynamic, self-updating library. This library is developed by decomposing chemical tasks into sub-tasks and compiling these sub-tasks into a structured collection that can be referenced for future queries. Then, when presented with a new problem, ChemAgent retrieves and refines pertinent information from the library, which we call memory, facilitating effective task decomposition and the generation of solutions. Our method designs three types of memory and a library-enhanced reasoning component, enabling LLMs to improve over time through experience. Experimental results on four chemical reasoning datasets from SciBench demonstrate that ChemAgent achieves performance gains of up to 46% (GPT-4), significantly outperforming existing methods. Our findings suggest substantial potential for future applications, including tasks such as drug discovery and materials science. Our code can be found at https://github.com/gersteinlab/chemagent