Rumo à Interpretação de Moléculas 3D em Modelos de Linguagem

Towards 3D Molecule-Text Interpretation in Language Models

January 25, 2024

Autores: Sihang Li, Zhiyuan Liu, Yanchen Luo, Xiang Wang, Xiangnan He, Kenji Kawaguchi, Tat-Seng Chua, Qi Tian

cs.AI

Resumo

Modelos de Linguagem (LMs) têm influenciado significativamente diversos domínios. No entanto, sua limitação inerente em compreender estruturas moleculares 3D tem restringido consideravelmente seu potencial no domínio biomolecular. Para preencher essa lacuna, focamos na interpretação de moléculas 3D-texto e propomos o 3D-MoLM: Modelagem de Linguagem Molecular 3D. Especificamente, o 3D-MoLM permite que um LM interprete e analise moléculas 3D ao equipar o LM com um codificador molecular 3D. Essa integração é alcançada por meio de um projetor molécula 3D-texto, que conecta o espaço de representação do codificador molecular 3D e o espaço de entrada do LM. Além disso, para aprimorar a capacidade do 3D-MoLM de compreensão molecular multimodal e seguimento de instruções, elaboramos meticulosamente um conjunto de dados de ajuste fino centrado em moléculas 3D -- o 3D-MoIT. Por meio do alinhamento molécula 3D-texto e do ajuste fino centrado em moléculas 3D, o 3D-MoLM estabelece uma integração entre o codificador molecular 3D e o LM. Ele supera significativamente as baselines existentes em tarefas subsequentes, incluindo recuperação molécula-texto, legendagem de moléculas e tarefas mais desafiadoras de QA molecular de texto aberto, especialmente focando em propriedades dependentes de 3D.

English

Language Models (LMs) have greatly influenced diverse domains. However, their inherent limitation in comprehending 3D molecular structures has considerably constrained their potential in the biomolecular domain. To bridge this gap, we focus on 3D molecule-text interpretation, and propose 3D-MoLM: 3D-Molecular Language Modeling. Specifically, 3D-MoLM enables an LM to interpret and analyze 3D molecules by equipping the LM with a 3D molecular encoder. This integration is achieved by a 3D molecule-text projector, bridging the 3D molecular encoder's representation space and the LM's input space. Moreover, to enhance 3D-MoLM's ability of cross-modal molecular understanding and instruction following, we meticulously curated a 3D molecule-centric instruction tuning dataset -- 3D-MoIT. Through 3D molecule-text alignment and 3D molecule-centric instruction tuning, 3D-MoLM establishes an integration of 3D molecular encoder and LM. It significantly surpasses existing baselines on downstream tasks, including molecule-text retrieval, molecule captioning, and more challenging open-text molecular QA tasks, especially focusing on 3D-dependent properties.