Modelos de Linguagem Multimodais de Grande Escala para Design Molecular Inverso com Planejamento Retrossintético

Multimodal Large Language Models for Inverse Molecular Design with Retrosynthetic Planning

October 5, 2024

Autores: Gang Liu, Michael Sun, Wojciech Matusik, Meng Jiang, Jie Chen

cs.AI

Resumo

Embora os grandes modelos de linguagem (LLMs) tenham integrado imagens, adaptá-los a gráficos continua sendo um desafio, limitando suas aplicações em materiais e design de medicamentos. Essa dificuldade decorre da necessidade de geração autoregressiva coerente em textos e gráficos. Para lidar com isso, apresentamos o Llamole, o primeiro LLM multimodal capaz de geração entrelaçada de texto e gráfico, possibilitando o design inverso molecular com planejamento retrosintético. O Llamole integra um LLM base com o Transformador de Difusão de Gráfico e Redes Neurais de Gráfico para geração molecular multi-condicional e inferência de reações dentro de textos, enquanto o LLM, com entendimento molecular aprimorado, controla de forma flexível a ativação entre os diferentes módulos de gráfico. Além disso, o Llamole integra a busca A* com funções de custo baseadas em LLM para um planejamento retrosintético eficiente. Criamos conjuntos de dados de referência e realizamos experimentos extensivos para avaliar o Llamole em comparação com aprendizado em contexto e ajuste fino supervisionado. O Llamole supera significativamente 14 LLMs adaptados em 12 métricas para design molecular controlável e planejamento retrosintético.

English

While large language models (LLMs) have integrated images, adapting them to graphs remains challenging, limiting their applications in materials and drug design. This difficulty stems from the need for coherent autoregressive generation across texts and graphs. To address this, we introduce Llamole, the first multimodal LLM capable of interleaved text and graph generation, enabling molecular inverse design with retrosynthetic planning. Llamole integrates a base LLM with the Graph Diffusion Transformer and Graph Neural Networks for multi-conditional molecular generation and reaction inference within texts, while the LLM, with enhanced molecular understanding, flexibly controls activation among the different graph modules. Additionally, Llamole integrates A* search with LLM-based cost functions for efficient retrosynthetic planning. We create benchmarking datasets and conduct extensive experiments to evaluate Llamole against in-context learning and supervised fine-tuning. Llamole significantly outperforms 14 adapted LLMs across 12 metrics for controllable molecular design and retrosynthetic planning.