Multimodale Große Sprachmodelle für inverses Moleküldesign mit retrosynthetischer Planung

Multimodal Large Language Models for Inverse Molecular Design with Retrosynthetic Planning

October 5, 2024

Autoren: Gang Liu, Michael Sun, Wojciech Matusik, Meng Jiang, Jie Chen

cs.AI

Zusammenfassung

Obwohl große Sprachmodelle (LLMs) Bilder integriert haben, bleibt die Anpassung an Graphen eine Herausforderung, die ihre Anwendungen im Bereich Material- und Arzneimitteldesign einschränkt. Diese Schwierigkeit ergibt sich aus der Notwendigkeit einer kohärenten autoregressiven Generierung über Texte und Graphen hinweg. Um dies anzugehen, stellen wir Llamole vor, das erste multimodale LLM, das in der Lage ist, Text- und Graphgenerierung abwechselnd durchzuführen und somit die molekulare inversen Gestaltung mit retrosynthetischer Planung zu ermöglichen. Llamole integriert ein Basis-LLM mit dem Graph Diffusion Transformer und Graph-Neuronalen Netzwerken für die mehrkonditionale molekulare Generierung und Reaktionsinferenz innerhalb von Texten, während das LLM mit verbessertem molekularem Verständnis die Aktivierung unter den verschiedenen Graphmodulen flexibel steuert. Darüber hinaus integriert Llamole A*-Suche mit LLM-basierten Kostenfunktionen für eine effiziente retrosynthetische Planung. Wir erstellen Benchmark-Datensätze und führen umfangreiche Experimente durch, um Llamole mit In-Context-Lernen und überwachtem Feintuning zu bewerten. Llamole übertrifft signifikant 14 angepasste LLMs in 12 Metriken für kontrolliertes molekulares Design und retrosynthetische Planung.

English

While large language models (LLMs) have integrated images, adapting them to graphs remains challenging, limiting their applications in materials and drug design. This difficulty stems from the need for coherent autoregressive generation across texts and graphs. To address this, we introduce Llamole, the first multimodal LLM capable of interleaved text and graph generation, enabling molecular inverse design with retrosynthetic planning. Llamole integrates a base LLM with the Graph Diffusion Transformer and Graph Neural Networks for multi-conditional molecular generation and reaction inference within texts, while the LLM, with enhanced molecular understanding, flexibly controls activation among the different graph modules. Additionally, Llamole integrates A* search with LLM-based cost functions for efficient retrosynthetic planning. We create benchmarking datasets and conduct extensive experiments to evaluate Llamole against in-context learning and supervised fine-tuning. Llamole significantly outperforms 14 adapted LLMs across 12 metrics for controllable molecular design and retrosynthetic planning.