Hacia la Interpretación 3D de Moléculas-Texto en Modelos de Lenguaje

Towards 3D Molecule-Text Interpretation in Language Models

January 25, 2024

Autores: Sihang Li, Zhiyuan Liu, Yanchen Luo, Xiang Wang, Xiangnan He, Kenji Kawaguchi, Tat-Seng Chua, Qi Tian

cs.AI

Resumen

Los Modelos de Lenguaje (LM, por sus siglas en inglés) han influido significativamente en diversos dominios. Sin embargo, su limitación inherente para comprender estructuras moleculares 3D ha restringido considerablemente su potencial en el ámbito biomolecular. Para cerrar esta brecha, nos enfocamos en la interpretación de texto-molécula 3D y proponemos 3D-MoLM: Modelado de Lenguaje Molecular 3D. Específicamente, 3D-MoLM permite que un LM interprete y analice moléculas 3D al equiparlo con un codificador molecular 3D. Esta integración se logra mediante un proyector de texto-molécula 3D, que conecta el espacio de representación del codificador molecular 3D con el espacio de entrada del LM. Además, para mejorar la capacidad de 3D-MoLM en la comprensión molecular multimodal y el seguimiento de instrucciones, hemos creado meticulosamente un conjunto de datos de ajuste de instrucciones centrado en moléculas 3D: 3D-MoIT. A través de la alineación de texto-molécula 3D y el ajuste de instrucciones centrado en moléculas 3D, 3D-MoLM establece una integración entre el codificador molecular 3D y el LM. Supera significativamente a los modelos de referencia existentes en tareas posteriores, incluyendo la recuperación de texto-molécula, la descripción de moléculas y tareas más desafiantes de preguntas y respuestas abiertas sobre moléculas, especialmente aquellas que dependen de propiedades 3D.

English

Language Models (LMs) have greatly influenced diverse domains. However, their inherent limitation in comprehending 3D molecular structures has considerably constrained their potential in the biomolecular domain. To bridge this gap, we focus on 3D molecule-text interpretation, and propose 3D-MoLM: 3D-Molecular Language Modeling. Specifically, 3D-MoLM enables an LM to interpret and analyze 3D molecules by equipping the LM with a 3D molecular encoder. This integration is achieved by a 3D molecule-text projector, bridging the 3D molecular encoder's representation space and the LM's input space. Moreover, to enhance 3D-MoLM's ability of cross-modal molecular understanding and instruction following, we meticulously curated a 3D molecule-centric instruction tuning dataset -- 3D-MoIT. Through 3D molecule-text alignment and 3D molecule-centric instruction tuning, 3D-MoLM establishes an integration of 3D molecular encoder and LM. It significantly surpasses existing baselines on downstream tasks, including molecule-text retrieval, molecule captioning, and more challenging open-text molecular QA tasks, especially focusing on 3D-dependent properties.