Mol-LLaMA: Naar een Algemeen Begrip van Moleculen in Grote Moleculaire Taalmodellen

Mol-LLaMA: Towards General Understanding of Molecules in Large Molecular Language Model

February 19, 2025

Auteurs: Dongki Kim, Wonbin Lee, Sung Ju Hwang

cs.AI

Samenvatting

Het begrijpen van moleculen is essentieel voor het begrijpen van organismen en het bevorderen van vooruitgang in geneesmiddelenontdekking, wat interdisciplinaire kennis vereist op het gebied van chemie en biologie. Hoewel grote moleculaire taalmodellen aanzienlijke successen hebben geboekt bij het interpreteren van moleculaire structuren, zijn hun instructiedatasets beperkt tot de specifieke kennis uit taakgerichte datasets en dekken ze niet volledig de fundamentele kenmerken van moleculen, wat hun mogelijkheden als algemene moleculaire assistenten belemmert. Om dit probleem aan te pakken, stellen we Mol-LLaMA voor, een groot moleculair taalmodel dat de algemene kennis over moleculen beheerst via multi-modale instructieafstemming. Hiertoe ontwerpen we belangrijke gegevenstypen die de fundamentele kenmerken van moleculen omvatten, waarbij essentiële kennis uit moleculaire structuren wordt geïntegreerd. Daarnaast introduceren we een module die complementaire informatie uit verschillende moleculaire encoders integreert, waarbij de unieke voordelen van verschillende moleculaire representaties worden benut. Onze experimentele resultaten tonen aan dat Mol-LLaMA in staat is de algemene kenmerken van moleculen te begrijpen en relevante antwoorden te genereren op gebruikersvragen met gedetailleerde uitleg, wat het potentieel ervan als algemene assistent voor moleculaire analyse suggereert.

English

Understanding molecules is key to understanding organisms and driving advances in drug discovery, requiring interdisciplinary knowledge across chemistry and biology. Although large molecular language models have achieved notable success in interpreting molecular structures, their instruction datasets are limited to the specific knowledge from task-oriented datasets and do not fully cover the fundamental characteristics of molecules, hindering their abilities as general-purpose molecular assistants. To address this issue, we propose Mol-LLaMA, a large molecular language model that grasps the general knowledge centered on molecules via multi-modal instruction tuning. To this end, we design key data types that encompass the fundamental features of molecules, incorporating essential knowledge from molecular structures. In addition, to improve understanding of molecular features, we introduce a module that integrates complementary information from different molecular encoders, leveraging the distinct advantages of different molecular representations. Our experimental results demonstrate that Mol-LLaMA is capable of comprehending the general features of molecules and generating relevant responses to users' queries with detailed explanations, implying its potential as a general-purpose assistant for molecular analysis.