Auf dem Weg zur 3D-Molekül-Text-Interpretation in Sprachmodellen

Towards 3D Molecule-Text Interpretation in Language Models

January 25, 2024

Autoren: Sihang Li, Zhiyuan Liu, Yanchen Luo, Xiang Wang, Xiangnan He, Kenji Kawaguchi, Tat-Seng Chua, Qi Tian

cs.AI

Zusammenfassung

Sprachmodelle (LMs) haben diverse Bereiche maßgeblich beeinflusst. Ihre inhärente Einschränkung im Verständnis von 3D-Molekülstrukturen hat jedoch ihr Potenzial im biomolekularen Bereich erheblich eingeschränkt. Um diese Lücke zu überbrücken, konzentrieren wir uns auf die 3D-Molekül-Text-Interpretation und schlagen 3D-MoLM vor: 3D-Molekularsprachmodellierung. Speziell ermöglicht 3D-MoLM einem LM, 3D-Moleküle zu interpretieren und zu analysieren, indem das LM mit einem 3D-Molekül-Encoder ausgestattet wird. Diese Integration wird durch einen 3D-Molekül-Text-Projektor erreicht, der den Repräsentationsraum des 3D-Molekül-Encoders und den Eingaberaum des LMs verbindet. Darüber hinaus haben wir zur Verbesserung der Fähigkeit von 3D-MoLM zur cross-modalen molekularen Verständnis und Anweisungsausführung einen sorgfältig kuratierten 3D-Molekül-zentrierten Anleitungseinstellungsdatensatz erstellt - 3D-MoIT. Durch 3D-Molekül-Text-Ausrichtung und 3D-Molekül-zentrierte Anleitungseinstellung etabliert 3D-MoLM eine Integration von 3D-Molekül-Encoder und LM. Es übertrifft signifikant bestehende Ausgangspunkte bei nachgelagerten Aufgaben, einschließlich Molekül-Text-Retrieval, Molekül-Beschriftung und anspruchsvolleren offenen Textmolekularer QA-Aufgaben, die sich besonders auf 3D-abhängige Eigenschaften konzentrieren.

English

Language Models (LMs) have greatly influenced diverse domains. However, their inherent limitation in comprehending 3D molecular structures has considerably constrained their potential in the biomolecular domain. To bridge this gap, we focus on 3D molecule-text interpretation, and propose 3D-MoLM: 3D-Molecular Language Modeling. Specifically, 3D-MoLM enables an LM to interpret and analyze 3D molecules by equipping the LM with a 3D molecular encoder. This integration is achieved by a 3D molecule-text projector, bridging the 3D molecular encoder's representation space and the LM's input space. Moreover, to enhance 3D-MoLM's ability of cross-modal molecular understanding and instruction following, we meticulously curated a 3D molecule-centric instruction tuning dataset -- 3D-MoIT. Through 3D molecule-text alignment and 3D molecule-centric instruction tuning, 3D-MoLM establishes an integration of 3D molecular encoder and LM. It significantly surpasses existing baselines on downstream tasks, including molecule-text retrieval, molecule captioning, and more challenging open-text molecular QA tasks, especially focusing on 3D-dependent properties.