Mol-LLaMA: Verso una comprensione generale delle molecole nei grandi modelli linguistici molecolari

Mol-LLaMA: Towards General Understanding of Molecules in Large Molecular Language Model

February 19, 2025

Autori: Dongki Kim, Wonbin Lee, Sung Ju Hwang

cs.AI

Abstract

Comprendere le molecole è fondamentale per comprendere gli organismi e guidare i progressi nella scoperta di farmaci, richiedendo una conoscenza interdisciplinare che attraversa chimica e biologia. Sebbene i grandi modelli linguistici molecolari abbiano ottenuto successi significativi nell'interpretazione delle strutture molecolari, i loro dataset di istruzione sono limitati alla conoscenza specifica derivata da dataset orientati al compito e non coprono pienamente le caratteristiche fondamentali delle molecole, ostacolando le loro capacità come assistenti molecolari generici. Per affrontare questo problema, proponiamo Mol-LLaMA, un grande modello linguistico molecolare che comprende la conoscenza generale incentrata sulle molecole attraverso la messa a punto di istruzioni multimodali. A tal fine, progettiamo tipi di dati chiave che racchiudono le caratteristiche fondamentali delle molecole, incorporando conoscenze essenziali dalle strutture molecolari. Inoltre, per migliorare la comprensione delle caratteristiche molecolari, introduciamo un modulo che integra informazioni complementari da diversi encoder molecolari, sfruttando i vantaggi distintivi di diverse rappresentazioni molecolari. I nostri risultati sperimentali dimostrano che Mol-LLaMA è in grado di comprendere le caratteristiche generali delle molecole e di generare risposte pertinenti alle query degli utenti con spiegazioni dettagliate, suggerendo il suo potenziale come assistente generico per l'analisi molecolare.

English

Understanding molecules is key to understanding organisms and driving advances in drug discovery, requiring interdisciplinary knowledge across chemistry and biology. Although large molecular language models have achieved notable success in interpreting molecular structures, their instruction datasets are limited to the specific knowledge from task-oriented datasets and do not fully cover the fundamental characteristics of molecules, hindering their abilities as general-purpose molecular assistants. To address this issue, we propose Mol-LLaMA, a large molecular language model that grasps the general knowledge centered on molecules via multi-modal instruction tuning. To this end, we design key data types that encompass the fundamental features of molecules, incorporating essential knowledge from molecular structures. In addition, to improve understanding of molecular features, we introduce a module that integrates complementary information from different molecular encoders, leveraging the distinct advantages of different molecular representations. Our experimental results demonstrate that Mol-LLaMA is capable of comprehending the general features of molecules and generating relevant responses to users' queries with detailed explanations, implying its potential as a general-purpose assistant for molecular analysis.