LLaMo: Assistente de Gráfico Molecular Baseado em Modelos de Linguagem de Grande Escala

LLaMo: Large Language Model-based Molecular Graph Assistant

October 31, 2024

Autores: Jinyoung Park, Minseong Bae, Dohwan Ko, Hyunwoo J. Kim

cs.AI

Resumo

Os Modelos de Linguagem Grandes (LLMs) demonstraram notáveis capacidades de generalização e de seguir instruções com ajuste de instruções. Os avanços nos LLMs e no ajuste de instruções levaram ao desenvolvimento de Modelos Grandes de Visão-Linguagem (LVLMs). No entanto, a competência dos LLMs e do ajuste de instruções foi menos explorada no domínio molecular. Assim, propomos LLaMo: Assistente de grafos moleculares baseado em Modelo de Linguagem Grande, que é um modelo de linguagem de grafos moleculares grande treinado de ponta a ponta. Para superar a discrepância entre as modalidades de linguagem e de grafos, apresentamos o projetor de grafos em vários níveis que transforma representações de grafos em tokens de grafos, abstraindo as representações de saída de cada camada de GNN e as representações de motivos com o mecanismo de atenção cruzada. Também introduzimos dados de instruções de grafos moleculares gerados por máquina para ajustar as instruções do grande modelo de linguagem de grafos moleculares para compreensão geral de moléculas e linguagem. Nossos experimentos extensivos demonstram que o LLaMo apresenta o melhor desempenho em diversas tarefas, como geração de descrição molecular, previsão de propriedades e previsão de nomes IUPAC. O código do LLaMo está disponível em https://github.com/mlvlab/LLaMo.

English

Large Language Models (LLMs) have demonstrated remarkable generalization and instruction-following capabilities with instruction tuning. The advancements in LLMs and instruction tuning have led to the development of Large Vision-Language Models (LVLMs). However, the competency of the LLMs and instruction tuning have been less explored in the molecular domain. Thus, we propose LLaMo: Large Language Model-based Molecular graph assistant, which is an end-to-end trained large molecular graph-language model. To bridge the discrepancy between the language and graph modalities, we present the multi-level graph projector that transforms graph representations into graph tokens by abstracting the output representations of each GNN layer and motif representations with the cross-attention mechanism. We also introduce machine-generated molecular graph instruction data to instruction-tune the large molecular graph-language model for general-purpose molecule and language understanding. Our extensive experiments demonstrate that LLaMo shows the best performance on diverse tasks, such as molecular description generation, property prediction, and IUPAC name prediction. The code of LLaMo is available at https://github.com/mlvlab/LLaMo.