Sprachmodelle in der Molekülentdeckung

Language models in molecular discovery

September 28, 2023

papers.authors: Nikita Janakarajan, Tim Erdmann, Sarath Swaminathan, Teodoro Laino, Jannis Born

cs.AI

papers.abstract

Der Erfolg von Sprachmodellen, insbesondere transformer-basierten Architekturen, hat sich auf andere Domänen ausgeweitet und zur Entstehung von „wissenschaftlichen Sprachmodellen“ geführt, die auf kleine Moleküle, Proteine oder Polymere angewendet werden. In der Chemie tragen Sprachmodelle dazu bei, den Molekülentdeckungszyklus zu beschleunigen, wie vielversprechende jüngste Ergebnisse in der frühen Phase der Wirkstoffentwicklung belegen. Hier untersuchen wir die Rolle von Sprachmodellen in der Molekülentdeckung und betonen ihre Stärken im Bereich des de novo-Wirkstoffdesigns, der Eigenschaftsvorhersage und der Reaktionschemie. Wir heben wertvolle Open-Source-Software-Assets hervor und senken damit die Einstiegshürde in das Feld des wissenschaftlichen Sprachmodellierens. Schließlich skizzieren wir eine Vision für das zukünftige Moleküldesign, die eine Chatbot-Schnittstelle mit Zugang zu computergestützten Chemie-Tools kombiniert. Unser Beitrag dient als wertvolle Ressource für Forscher, Chemiker und KI-Enthusiasten, die verstehen möchten, wie Sprachmodelle bereits genutzt werden und in Zukunft genutzt werden können, um die chemische Entdeckung zu beschleunigen.

English

The success of language models, especially transformer-based architectures, has trickled into other domains giving rise to "scientific language models" that operate on small molecules, proteins or polymers. In chemistry, language models contribute to accelerating the molecule discovery cycle as evidenced by promising recent findings in early-stage drug discovery. Here, we review the role of language models in molecular discovery, underlining their strength in de novo drug design, property prediction and reaction chemistry. We highlight valuable open-source software assets thus lowering the entry barrier to the field of scientific language modeling. Last, we sketch a vision for future molecular design that combines a chatbot interface with access to computational chemistry tools. Our contribution serves as a valuable resource for researchers, chemists, and AI enthusiasts interested in understanding how language models can and will be used to accelerate chemical discovery.