Modèles de langage multimodaux de grande taille pour la conception moléculaire inverse avec planification rétrosynthétique

Multimodal Large Language Models for Inverse Molecular Design with Retrosynthetic Planning

October 5, 2024

Auteurs: Gang Liu, Michael Sun, Wojciech Matusik, Meng Jiang, Jie Chen

cs.AI

Résumé

Alors que les grands modèles de langage (LLM) ont intégré des images, les adapter aux graphes reste un défi, limitant leurs applications dans la conception de matériaux et de médicaments. Cette difficulté découle de la nécessité d'une génération autoregressive cohérente à travers les textes et les graphes. Pour y remédier, nous présentons Llamole, le premier LLM multimodal capable de générer de manière entrelacée du texte et des graphes, permettant la conception inverse moléculaire avec une planification rétrosynthétique. Llamole intègre un LLM de base avec le Transformateur de Diffusion de Graphe et les Réseaux Neuronaux de Graphe pour une génération moléculaire multi-conditionnelle et une inférence de réaction au sein des textes, tandis que le LLM, avec une compréhension moléculaire améliorée, contrôle de manière flexible l'activation parmi les différents modules de graphe. De plus, Llamole intègre une recherche A* avec des fonctions de coût basées sur le LLM pour une planification rétrosynthétique efficace. Nous créons des ensembles de données de référence et menons des expériences approfondies pour évaluer Llamole par rapport à l'apprentissage en contexte et au fine-tuning supervisé. Llamole surpasse significativement 14 LLM adaptés sur 12 métriques pour la conception moléculaire contrôlable et la planification rétrosynthétique.

English

While large language models (LLMs) have integrated images, adapting them to graphs remains challenging, limiting their applications in materials and drug design. This difficulty stems from the need for coherent autoregressive generation across texts and graphs. To address this, we introduce Llamole, the first multimodal LLM capable of interleaved text and graph generation, enabling molecular inverse design with retrosynthetic planning. Llamole integrates a base LLM with the Graph Diffusion Transformer and Graph Neural Networks for multi-conditional molecular generation and reaction inference within texts, while the LLM, with enhanced molecular understanding, flexibly controls activation among the different graph modules. Additionally, Llamole integrates A* search with LLM-based cost functions for efficient retrosynthetic planning. We create benchmarking datasets and conduct extensive experiments to evaluate Llamole against in-context learning and supervised fine-tuning. Llamole significantly outperforms 14 adapted LLMs across 12 metrics for controllable molecular design and retrosynthetic planning.