逆合成計画を用いた分子設計のためのマルチモーダルな大規模言語モデル

Multimodal Large Language Models for Inverse Molecular Design with Retrosynthetic Planning

October 5, 2024

著者: Gang Liu, Michael Sun, Wojciech Matusik, Meng Jiang, Jie Chen

cs.AI

要旨

大規模言語モデル（LLM）は画像を統合していますが、グラフへの適応は依然として困難であり、材料や医薬品設計における応用が制限されています。この困難さは、テキストとグラフ全体での一貫した自己回帰生成が必要であることに起因しています。この課題に対処するために、私たちはLlamoleを導入します。これは、テキストとグラフの交互生成が可能な最初のマルチモーダルLLMであり、分子の逆合成設計をレトロ合成計画とともに実現します。Llamoleは、ベースLLMとGraph Diffusion Transformer、Graph Neural Networksを統合し、テキスト内での多条件分子生成と反応推論を可能にします。さらに、分子理解を強化したLLMが、異なるグラフモジュール間で柔軟に活性化を制御します。さらに、Llamoleは、効率的なレトロ合成計画のためにLLMベースのコスト関数とA*探索を統合します。私たちはベンチマークデータセットを作成し、Llamoleをインコンテキスト学習と監督されたファインチューニングと比較評価するために、包括的な実験を実施します。Llamoleは、制御可能な分子設計とレトロ合成計画の12のメトリックにわたり、14の適応LLMを大幅に上回る性能を発揮します。

English

While large language models (LLMs) have integrated images, adapting them to graphs remains challenging, limiting their applications in materials and drug design. This difficulty stems from the need for coherent autoregressive generation across texts and graphs. To address this, we introduce Llamole, the first multimodal LLM capable of interleaved text and graph generation, enabling molecular inverse design with retrosynthetic planning. Llamole integrates a base LLM with the Graph Diffusion Transformer and Graph Neural Networks for multi-conditional molecular generation and reaction inference within texts, while the LLM, with enhanced molecular understanding, flexibly controls activation among the different graph modules. Additionally, Llamole integrates A* search with LLM-based cost functions for efficient retrosynthetic planning. We create benchmarking datasets and conduct extensive experiments to evaluate Llamole against in-context learning and supervised fine-tuning. Llamole significantly outperforms 14 adapted LLMs across 12 metrics for controllable molecular design and retrosynthetic planning.