LLaMo: Asistente de Grafos Moleculares basado en Modelos de Lenguaje Grande

LLaMo: Large Language Model-based Molecular Graph Assistant

October 31, 2024

Autores: Jinyoung Park, Minseong Bae, Dohwan Ko, Hyunwoo J. Kim

cs.AI

Resumen

Los Modelos de Lenguaje Grandes (LLMs, por sus siglas en inglés) han demostrado notables capacidades de generalización y seguimiento de instrucciones con ajuste de instrucciones. Los avances en LLMs y ajuste de instrucciones han llevado al desarrollo de Modelos Grandes de Visión-Lenguaje (LVLMs). Sin embargo, la competencia de los LLMs y el ajuste de instrucciones ha sido menos explorada en el ámbito molecular. Por lo tanto, proponemos LLaMo: Asistente molecular basado en Modelo de Lenguaje Grande, que es un modelo de lenguaje gráfico molecular grande entrenado de extremo a extremo. Para superar la discrepancia entre las modalidades de lenguaje y gráfico, presentamos el proyector gráfico multinivel que transforma representaciones gráficas en tokens gráficos mediante la abstracción de las representaciones de salida de cada capa de GNN y las representaciones de motivos con el mecanismo de atención cruzada. También introducimos datos de instrucciones gráficas moleculares generadas por máquina para ajustar las instrucciones del gran modelo de lenguaje gráfico molecular para comprensión general de moléculas y lenguaje. Nuestros experimentos extensos demuestran que LLaMo muestra el mejor rendimiento en diversas tareas, como generación de descripciones moleculares, predicción de propiedades y predicción de nombres IUPAC. El código de LLaMo está disponible en https://github.com/mlvlab/LLaMo.

English

Large Language Models (LLMs) have demonstrated remarkable generalization and instruction-following capabilities with instruction tuning. The advancements in LLMs and instruction tuning have led to the development of Large Vision-Language Models (LVLMs). However, the competency of the LLMs and instruction tuning have been less explored in the molecular domain. Thus, we propose LLaMo: Large Language Model-based Molecular graph assistant, which is an end-to-end trained large molecular graph-language model. To bridge the discrepancy between the language and graph modalities, we present the multi-level graph projector that transforms graph representations into graph tokens by abstracting the output representations of each GNN layer and motif representations with the cross-attention mechanism. We also introduce machine-generated molecular graph instruction data to instruction-tune the large molecular graph-language model for general-purpose molecule and language understanding. Our extensive experiments demonstrate that LLaMo shows the best performance on diverse tasks, such as molecular description generation, property prediction, and IUPAC name prediction. The code of LLaMo is available at https://github.com/mlvlab/LLaMo.