LLaMo: 大規模言語モデルに基づく分子グラフアシスタント

LLaMo: Large Language Model-based Molecular Graph Assistant

October 31, 2024

著者: Jinyoung Park, Minseong Bae, Dohwan Ko, Hyunwoo J. Kim

cs.AI

要旨

大規模言語モデル（LLMs）は、指示チューニングにより顕著な汎化および指示遵守能力を示しています。LLMsと指示チューニングの進歩は、大規模ビジョン言語モデル（LVLMs）の開発につながっています。ただし、LLMsと指示チューニングの能力は、分子領域であまり探求されていません。そのため、我々はLLaMoを提案します。これは、大規模分子グラフ言語モデルであり、エンドツーエンドでトレーニングされた大規模分子グラフ言語モデルです。言語とグラフのモダリティ間の不一致を埋めるために、各GNNレイヤーとモチーフ表現の出力表現を抽象化し、クロスアテンションメカニズムでグラフ表現をグラフトークンに変換するマルチレベルグラフプロジェクタを提案します。また、一般的な分子および言語理解のために大規模分子グラフ言語モデルを指示チューニングするための機械生成分子グラフ指示データを導入します。我々の包括的な実験は、LLaMoが分子記述生成、特性予測、IUPAC名予測などの多様なタスクで最良のパフォーマンスを示すことを示しています。LLaMoのコードは、https://github.com/mlvlab/LLaMo で入手可能です。

English

Large Language Models (LLMs) have demonstrated remarkable generalization and instruction-following capabilities with instruction tuning. The advancements in LLMs and instruction tuning have led to the development of Large Vision-Language Models (LVLMs). However, the competency of the LLMs and instruction tuning have been less explored in the molecular domain. Thus, we propose LLaMo: Large Language Model-based Molecular graph assistant, which is an end-to-end trained large molecular graph-language model. To bridge the discrepancy between the language and graph modalities, we present the multi-level graph projector that transforms graph representations into graph tokens by abstracting the output representations of each GNN layer and motif representations with the cross-attention mechanism. We also introduce machine-generated molecular graph instruction data to instruction-tune the large molecular graph-language model for general-purpose molecule and language understanding. Our extensive experiments demonstrate that LLaMo shows the best performance on diverse tasks, such as molecular description generation, property prediction, and IUPAC name prediction. The code of LLaMo is available at https://github.com/mlvlab/LLaMo.