NatureLM: Entschlüsselung der Sprache der Natur für wissenschaftliche Entdeckungen

NatureLM: Deciphering the Language of Nature for Scientific Discovery

February 11, 2025

Autoren: Yingce Xia, Peiran Jin, Shufang Xie, Liang He, Chuan Cao, Renqian Luo, Guoqing Liu, Yue Wang, Zequn Liu, Yuan-Jyue Chen, Zekun Guo, Yeqi Bai, Pan Deng, Yaosen Min, Ziheng Lu, Hongxia Hao, Han Yang, Jielan Li, Chang Liu, Jia Zhang, Jianwei Zhu, Kehan Wu, Wei Zhang, Kaiyuan Gao, Qizhi Pei, Qian Wang, Xixian Liu, Yanting Li, Houtian Zhu, Yeqing Lu, Mingqian Ma, Zun Wang, Tian Xie, Krzysztof Maziarz, Marwin Segler, Zhao Yang, Zilong Chen, Yu Shi, Shuxin Zheng, Lijun Wu, Chen Hu, Peggy Dai, Tie-Yan Liu, Haiguang Liu, Tao Qin

cs.AI

Zusammenfassung

Grundlagenmodelle haben die Verarbeitung natürlicher Sprache und künstliche Intelligenz revolutioniert, indem sie maßgeblich dazu beigetragen haben, wie Maschinen menschliche Sprachen verstehen und erzeugen. Inspiriert vom Erfolg dieser Grundlagenmodelle haben Forscher Grundlagenmodelle für einzelne wissenschaftliche Bereiche entwickelt, darunter kleine Moleküle, Materialien, Proteine, DNA und RNA. Diese Modelle werden jedoch in der Regel isoliert trainiert und verfügen nicht über die Fähigkeit, verschiedene wissenschaftliche Bereiche zu integrieren. Da erkannt wurde, dass Entitäten in diesen Bereichen alle als Sequenzen dargestellt werden können, die zusammen die "Sprache der Natur" bilden, stellen wir das Nature Language Model (kurz NatureLM) vor, ein auf Sequenzen basierendes wissenschaftliches Grundlagenmodell, das für wissenschaftliche Entdeckungen entwickelt wurde. Vortrainiert mit Daten aus mehreren wissenschaftlichen Bereichen bietet NatureLM ein vereinheitlichtes, vielseitiges Modell, das verschiedene Anwendungen ermöglicht, darunter: (i) Generierung und Optimierung von kleinen Molekülen, Proteinen, RNA und Materialien mithilfe von Textanweisungen; (ii) Generierung/Design über verschiedene Bereiche hinweg, wie Protein-zu-Molekül und Protein-zu-RNA Generierung; und (iii) Erzielung erstklassiger Leistungen bei Aufgaben wie SMILES-zu-IUPAC-Übersetzung und Retrosynthese auf USPTO-50k. NatureLM bietet einen vielversprechenden generalistischen Ansatz für verschiedene wissenschaftliche Aufgaben, einschließlich Arzneimittelforschung (Hit-Generierung/Optimierung, ADMET-Optimierung, Synthese), neuartiges Materialdesign und die Entwicklung therapeutischer Proteine oder Nukleotide. Wir haben NatureLM-Modelle in verschiedenen Größen (1 Milliarde, 8 Milliarden und 46,7 Milliarden Parameter) entwickelt und eine klare Leistungssteigerung mit zunehmender Modellgröße festgestellt.

English

Foundation models have revolutionized natural language processing and artificial intelligence, significantly enhancing how machines comprehend and generate human languages. Inspired by the success of these foundation models, researchers have developed foundation models for individual scientific domains, including small molecules, materials, proteins, DNA, and RNA. However, these models are typically trained in isolation, lacking the ability to integrate across different scientific domains. Recognizing that entities within these domains can all be represented as sequences, which together form the "language of nature", we introduce Nature Language Model (briefly, NatureLM), a sequence-based science foundation model designed for scientific discovery. Pre-trained with data from multiple scientific domains, NatureLM offers a unified, versatile model that enables various applications including: (i) generating and optimizing small molecules, proteins, RNA, and materials using text instructions; (ii) cross-domain generation/design, such as protein-to-molecule and protein-to-RNA generation; and (iii) achieving state-of-the-art performance in tasks like SMILES-to-IUPAC translation and retrosynthesis on USPTO-50k. NatureLM offers a promising generalist approach for various scientific tasks, including drug discovery (hit generation/optimization, ADMET optimization, synthesis), novel material design, and the development of therapeutic proteins or nucleotides. We have developed NatureLM models in different sizes (1 billion, 8 billion, and 46.7 billion parameters) and observed a clear improvement in performance as the model size increases.