NatureLM: Descifrando el Lenguaje de la Naturaleza para el Descubrimiento Científico

NatureLM: Deciphering the Language of Nature for Scientific Discovery

February 11, 2025

Autores: Yingce Xia, Peiran Jin, Shufang Xie, Liang He, Chuan Cao, Renqian Luo, Guoqing Liu, Yue Wang, Zequn Liu, Yuan-Jyue Chen, Zekun Guo, Yeqi Bai, Pan Deng, Yaosen Min, Ziheng Lu, Hongxia Hao, Han Yang, Jielan Li, Chang Liu, Jia Zhang, Jianwei Zhu, Kehan Wu, Wei Zhang, Kaiyuan Gao, Qizhi Pei, Qian Wang, Xixian Liu, Yanting Li, Houtian Zhu, Yeqing Lu, Mingqian Ma, Zun Wang, Tian Xie, Krzysztof Maziarz, Marwin Segler, Zhao Yang, Zilong Chen, Yu Shi, Shuxin Zheng, Lijun Wu, Chen Hu, Peggy Dai, Tie-Yan Liu, Haiguang Liu, Tao Qin

cs.AI

Resumen

Los modelos fundamentales han revolucionado el procesamiento del lenguaje natural y la inteligencia artificial, mejorando significativamente la capacidad de las máquinas para comprender y generar lenguajes humanos. Inspirados por el éxito de estos modelos fundamentales, los investigadores han desarrollado modelos fundamentales para dominios científicos individuales, incluyendo moléculas pequeñas, materiales, proteínas, ADN y ARN. Sin embargo, estos modelos suelen entrenarse de forma aislada, careciendo de la capacidad de integrarse entre diferentes dominios científicos. Reconociendo que las entidades dentro de estos dominios pueden representarse como secuencias, las cuales en conjunto forman el "lenguaje de la naturaleza", presentamos el Modelo de Lenguaje Natural (breve, NatureLM), un modelo fundamental científico basado en secuencias diseñado para el descubrimiento científico. Pre-entrenado con datos de múltiples dominios científicos, NatureLM ofrece un modelo unificado y versátil que permite diversas aplicaciones, incluyendo: (i) generar y optimizar moléculas pequeñas, proteínas, ARN y materiales utilizando instrucciones de texto; (ii) generación/diseño entre dominios, como la generación de proteínas a moléculas y proteínas a ARN; y (iii) lograr un rendimiento de vanguardia en tareas como la traducción de SMILES a IUPAC y la retrosíntesis en USPTO-50k. NatureLM ofrece un enfoque generalista prometedor para diversas tareas científicas, incluyendo el descubrimiento de fármacos (generación/optimización de hits, optimización de ADMET, síntesis), diseño de nuevos materiales y el desarrollo de proteínas o nucleótidos terapéuticos. Hemos desarrollado modelos NatureLM de diferentes tamaños (1 mil millones, 8 mil millones y 46.7 mil millones de parámetros) y observamos una clara mejora en el rendimiento a medida que aumenta el tamaño del modelo.

English

Foundation models have revolutionized natural language processing and artificial intelligence, significantly enhancing how machines comprehend and generate human languages. Inspired by the success of these foundation models, researchers have developed foundation models for individual scientific domains, including small molecules, materials, proteins, DNA, and RNA. However, these models are typically trained in isolation, lacking the ability to integrate across different scientific domains. Recognizing that entities within these domains can all be represented as sequences, which together form the "language of nature", we introduce Nature Language Model (briefly, NatureLM), a sequence-based science foundation model designed for scientific discovery. Pre-trained with data from multiple scientific domains, NatureLM offers a unified, versatile model that enables various applications including: (i) generating and optimizing small molecules, proteins, RNA, and materials using text instructions; (ii) cross-domain generation/design, such as protein-to-molecule and protein-to-RNA generation; and (iii) achieving state-of-the-art performance in tasks like SMILES-to-IUPAC translation and retrosynthesis on USPTO-50k. NatureLM offers a promising generalist approach for various scientific tasks, including drug discovery (hit generation/optimization, ADMET optimization, synthesis), novel material design, and the development of therapeutic proteins or nucleotides. We have developed NatureLM models in different sizes (1 billion, 8 billion, and 46.7 billion parameters) and observed a clear improvement in performance as the model size increases.