К направлению интерпретации трехмерных молекул в текстовых моделях.

Towards 3D Molecule-Text Interpretation in Language Models

January 25, 2024

Авторы: Sihang Li, Zhiyuan Liu, Yanchen Luo, Xiang Wang, Xiangnan He, Kenji Kawaguchi, Tat-Seng Chua, Qi Tian

cs.AI

Аннотация

Языковые модели (LMs) значительно повлияли на различные области. Однако их врожденное ограничение в понимании 3D молекулярных структур значительно сдерживает их потенциал в биомолекулярной области. Для преодоления этого разрыва мы сосредотачиваемся на интерпретации 3D молекулы-текста и предлагаем 3D-MoLM: 3D-Молекулярное Языковое Моделирование. Конкретно, 3D-MoLM позволяет LM интерпретировать и анализировать 3D молекулы, оснащая LM 3D молекулярным кодировщиком. Эта интеграция достигается с помощью 3D молекулярного текстового проектора, соединяющего пространство представления 3D молекулярного кодировщика и пространство ввода LM. Более того, для улучшения способности 3D-MoLM к кросс-модальному пониманию молекул и следованию инструкциям, мы тщательно подготовили набор данных для настройки инструкций, сосредоточенный на 3D молекулах - 3D-MoIT. Через выравнивание 3D молекула-текст и настройку инструкций, сосредоточенных на 3D молекулах, 3D-MoLM устанавливает интеграцию 3D молекулярного кодировщика и LM. Он значительно превосходит существующие базовые уровни на последующих задачах, включая поиск молекул-текста, подписывание молекул и более сложные задачи открытого текстового вопросно-ответного тестирования молекул, особенно с учетом 3D-зависимых свойств.

English

Language Models (LMs) have greatly influenced diverse domains. However, their inherent limitation in comprehending 3D molecular structures has considerably constrained their potential in the biomolecular domain. To bridge this gap, we focus on 3D molecule-text interpretation, and propose 3D-MoLM: 3D-Molecular Language Modeling. Specifically, 3D-MoLM enables an LM to interpret and analyze 3D molecules by equipping the LM with a 3D molecular encoder. This integration is achieved by a 3D molecule-text projector, bridging the 3D molecular encoder's representation space and the LM's input space. Moreover, to enhance 3D-MoLM's ability of cross-modal molecular understanding and instruction following, we meticulously curated a 3D molecule-centric instruction tuning dataset -- 3D-MoIT. Through 3D molecule-text alignment and 3D molecule-centric instruction tuning, 3D-MoLM establishes an integration of 3D molecular encoder and LM. It significantly surpasses existing baselines on downstream tasks, including molecule-text retrieval, molecule captioning, and more challenging open-text molecular QA tasks, especially focusing on 3D-dependent properties.