Multimodale Grote Taalmodellen voor Inverse Moleculair Ontwerp met Retrosynthetische Planning

Multimodal Large Language Models for Inverse Molecular Design with Retrosynthetic Planning

October 5, 2024

Auteurs: Gang Liu, Michael Sun, Wojciech Matusik, Meng Jiang, Jie Chen

cs.AI

Samenvatting

Hoewel grote taalmodellen (LLM's) afbeeldingen hebben geïntegreerd, blijft het aanpassen ervan aan grafieken uitdagend, waardoor hun toepassingen in materiaal- en medicijnontwerp beperkt zijn. Deze moeilijkheid komt voort uit de noodzaak van coherente autoregressieve generatie over teksten en grafieken. Om dit aan te pakken, introduceren we Llamole, de eerste multimodale LLM die in staat is tot onderlinge generatie van tekst en grafieken, waardoor moleculair omgekeerd ontwerp met retrosynthetische planning mogelijk wordt. Llamole integreert een basis LLM met de Graph Diffusion Transformer en Graph Neural Networks voor multi-conditionele moleculaire generatie en reactie-inferentie binnen teksten, terwijl het LLM, met verbeterd moleculair begrip, flexibel de activatie tussen de verschillende grafische modules regelt. Daarnaast integreert Llamole A* zoekopdrachten met op LLM gebaseerde kostfuncties voor efficiënte retrosynthetische planning. We creëren benchmarkdatasets en voeren uitgebreide experimenten uit om Llamole te evalueren ten opzichte van in-context leren en begeleid finetunen. Llamole presteert aanzienlijk beter dan 14 aangepaste LLM's op 12 metrieken voor controleerbaar moleculair ontwerp en retrosynthetische planning.

English

While large language models (LLMs) have integrated images, adapting them to graphs remains challenging, limiting their applications in materials and drug design. This difficulty stems from the need for coherent autoregressive generation across texts and graphs. To address this, we introduce Llamole, the first multimodal LLM capable of interleaved text and graph generation, enabling molecular inverse design with retrosynthetic planning. Llamole integrates a base LLM with the Graph Diffusion Transformer and Graph Neural Networks for multi-conditional molecular generation and reaction inference within texts, while the LLM, with enhanced molecular understanding, flexibly controls activation among the different graph modules. Additionally, Llamole integrates A* search with LLM-based cost functions for efficient retrosynthetic planning. We create benchmarking datasets and conduct extensive experiments to evaluate Llamole against in-context learning and supervised fine-tuning. Llamole significantly outperforms 14 adapted LLMs across 12 metrics for controllable molecular design and retrosynthetic planning.