NatureLM: Het ontcijferen van de taal van de natuur voor wetenschappelijke ontdekkingen

Samenvatting

Foundation modellen hebben de natuurlijke taalverwerking en kunstmatige intelligentie gerevolutioneerd, aanzienlijk verbeterend hoe machines menselijke talen begrijpen en genereren. Geïnspireerd door het succes van deze foundation modellen, hebben onderzoekers foundation modellen ontwikkeld voor individuele wetenschappelijke domeinen, waaronder kleine moleculen, materialen, eiwitten, DNA en RNA. Echter, deze modellen worden typisch geïsoleerd getraind, missend de mogelijkheid om te integreren over verschillende wetenschappelijke domeinen. Inzien dat entiteiten binnen deze domeinen allemaal kunnen worden voorgesteld als sequenties, die samen de "taal van de natuur" vormen, introduceren we Natuur Taal Model (kortweg, NatureLM), een op sequenties gebaseerd wetenschappelijk foundation model ontworpen voor wetenschappelijke ontdekkingen. Voorgetraind met gegevens uit meerdere wetenschappelijke domeinen, biedt NatureLM een verenigd, veelzijdig model dat verschillende toepassingen mogelijk maakt, waaronder: (i) genereren en optimaliseren van kleine moleculen, eiwitten, RNA en materialen met behulp van tekstinstructies; (ii) cross-domein generatie/ontwerp, zoals eiwit-naar-molecuul en eiwit-naar-RNA generatie; en (iii) het behalen van state-of-the-art prestaties in taken zoals SMILES-naar-IUPAC vertaling en retrosynthese op USPTO-50k. NatureLM biedt een veelbelovende generalistische benadering voor verschillende wetenschappelijke taken, waaronder geneesmiddelontdekking (hit generatie/optimalisatie, ADMET optimalisatie, synthese), nieuw materiaalontwerp, en de ontwikkeling van therapeutische eiwitten of nucleotiden. We hebben NatureLM modellen ontwikkeld in verschillende groottes (1 miljard, 8 miljard en 46,7 miljard parameters) en hebben een duidelijke verbetering in prestaties waargenomen naarmate de modelgrootte toeneemt.

English

Foundation models have revolutionized natural language processing and artificial intelligence, significantly enhancing how machines comprehend and generate human languages. Inspired by the success of these foundation models, researchers have developed foundation models for individual scientific domains, including small molecules, materials, proteins, DNA, and RNA. However, these models are typically trained in isolation, lacking the ability to integrate across different scientific domains. Recognizing that entities within these domains can all be represented as sequences, which together form the "language of nature", we introduce Nature Language Model (briefly, NatureLM), a sequence-based science foundation model designed for scientific discovery. Pre-trained with data from multiple scientific domains, NatureLM offers a unified, versatile model that enables various applications including: (i) generating and optimizing small molecules, proteins, RNA, and materials using text instructions; (ii) cross-domain generation/design, such as protein-to-molecule and protein-to-RNA generation; and (iii) achieving state-of-the-art performance in tasks like SMILES-to-IUPAC translation and retrosynthesis on USPTO-50k. NatureLM offers a promising generalist approach for various scientific tasks, including drug discovery (hit generation/optimization, ADMET optimization, synthesis), novel material design, and the development of therapeutic proteins or nucleotides. We have developed NatureLM models in different sizes (1 billion, 8 billion, and 46.7 billion parameters) and observed a clear improvement in performance as the model size increases.

NatureLM: Het ontcijferen van de taal van de natuur voor wetenschappelijke ontdekkingen

NatureLM: Deciphering the Language of Nature for Scientific Discovery

Samenvatting

Support