Mol-LLaMA: Hacia la Comprensión General de Moléculas en un Modelo de Lenguaje Molecular a Gran Escala

Mol-LLaMA: Towards General Understanding of Molecules in Large Molecular Language Model

February 19, 2025

Autores: Dongki Kim, Wonbin Lee, Sung Ju Hwang

cs.AI

Resumen

Comprender las moléculas es clave para entender los organismos e impulsar avances en el descubrimiento de fármacos, lo que requiere conocimiento interdisciplinario en química y biología. Aunque los grandes modelos de lenguaje molecular han logrado un éxito notable en la interpretación de estructuras moleculares, sus conjuntos de datos de instrucción se limitan al conocimiento específico de conjuntos de datos orientados a tareas y no cubren completamente las características fundamentales de las moléculas, lo que dificulta sus capacidades como asistentes moleculares de propósito general. Para abordar este problema, proponemos Mol-LLaMA, un gran modelo de lenguaje molecular que capta el conocimiento general centrado en moléculas mediante ajuste de instrucciones multimodales. Con este fin, diseñamos tipos de datos clave que abarcan las características fundamentales de las moléculas, incorporando conocimiento esencial de las estructuras moleculares. Además, para mejorar la comprensión de las características moleculares, introducimos un módulo que integra información complementaria de diferentes codificadores moleculares, aprovechando las ventajas distintivas de las distintas representaciones moleculares. Nuestros resultados experimentales demuestran que Mol-LLaMA es capaz de comprender las características generales de las moléculas y generar respuestas relevantes a las consultas de los usuarios con explicaciones detalladas, lo que sugiere su potencial como asistente de propósito general para el análisis molecular.

English

Understanding molecules is key to understanding organisms and driving advances in drug discovery, requiring interdisciplinary knowledge across chemistry and biology. Although large molecular language models have achieved notable success in interpreting molecular structures, their instruction datasets are limited to the specific knowledge from task-oriented datasets and do not fully cover the fundamental characteristics of molecules, hindering their abilities as general-purpose molecular assistants. To address this issue, we propose Mol-LLaMA, a large molecular language model that grasps the general knowledge centered on molecules via multi-modal instruction tuning. To this end, we design key data types that encompass the fundamental features of molecules, incorporating essential knowledge from molecular structures. In addition, to improve understanding of molecular features, we introduce a module that integrates complementary information from different molecular encoders, leveraging the distinct advantages of different molecular representations. Our experimental results demonstrate that Mol-LLaMA is capable of comprehending the general features of molecules and generating relevant responses to users' queries with detailed explanations, implying its potential as a general-purpose assistant for molecular analysis.