다중 모달 대형 언어 모델을 활용한 역분자 설계와 역합성 계획

초록

대형 언어 모델(Large Language Models, LLMs)은 이미지를 통합했지만, 그래프에 대한 적응은 여전히 어려움을 겪어 재료 및 약물 설계 분야에서의 응용을 제한하고 있다. 이 어려움은 텍스트와 그래프 간의 일관된 자기 회귀 생성이 필요하기 때문에 발생한다. 이에 대응하기 위해 우리는 Llamole을 소개한다. 이는 텍스트와 그래프 생성을 번갈아 수행할 수 있는 최초의 다중 모달 LLM으로, 분자 역설계를 위한 역합성 계획을 가능하게 한다. Llamole은 기본 LLM과 Graph Diffusion Transformer 및 Graph Neural Networks를 통합하여 다중 조건 분자 생성 및 텍스트 내 반응 추론을 수행하며, 향상된 분자 이해력을 갖춘 LLM은 서로 다른 그래프 모듈 간의 활성화를 유연하게 제어한다. 게다가, Llamole은 효율적인 역합성 계획을 위해 LLM 기반 비용 함수와 A* 검색을 통합한다. 우리는 벤치마킹 데이터셋을 생성하고 Llamole을 인과 학습과 지도된 미세 조정과 비교하기 위해 광범위한 실험을 실시한다. Llamole은 조절 가능한 분자 설계 및 역합성 계획을 위해 12가지 메트릭을 통해 14개의 적응된 LLM에 대해 Llamole이 현저히 우수한 성능을 보여준다.

English

While large language models (LLMs) have integrated images, adapting them to graphs remains challenging, limiting their applications in materials and drug design. This difficulty stems from the need for coherent autoregressive generation across texts and graphs. To address this, we introduce Llamole, the first multimodal LLM capable of interleaved text and graph generation, enabling molecular inverse design with retrosynthetic planning. Llamole integrates a base LLM with the Graph Diffusion Transformer and Graph Neural Networks for multi-conditional molecular generation and reaction inference within texts, while the LLM, with enhanced molecular understanding, flexibly controls activation among the different graph modules. Additionally, Llamole integrates A* search with LLM-based cost functions for efficient retrosynthetic planning. We create benchmarking datasets and conduct extensive experiments to evaluate Llamole against in-context learning and supervised fine-tuning. Llamole significantly outperforms 14 adapted LLMs across 12 metrics for controllable molecular design and retrosynthetic planning.

다중 모달 대형 언어 모델을 활용한 역분자 설계와 역합성 계획

Multimodal Large Language Models for Inverse Molecular Design with Retrosynthetic Planning

초록

Support