Mol-LLaMA: Auf dem Weg zu einem allgemeinen Verständnis von Molekülen in großen molekularen Sprachmodellen

Mol-LLaMA: Towards General Understanding of Molecules in Large Molecular Language Model

February 19, 2025

Autoren: Dongki Kim, Wonbin Lee, Sung Ju Hwang

cs.AI

Zusammenfassung

Das Verständnis von Molekülen ist entscheidend, um Organismen zu verstehen und Fortschritte in der Wirkstoffentwicklung voranzutreiben, was interdisziplinäres Wissen aus Chemie und Biologie erfordert. Obwohl große molekulare Sprachmodelle beachtliche Erfolge bei der Interpretation von Molekülstrukturen erzielt haben, sind ihre Instruktionsdatensätze auf das spezifische Wissen aus aufgabenorientierten Datensätzen beschränkt und decken die grundlegenden Eigenschaften von Molekülen nicht vollständig ab, was ihre Fähigkeiten als allgemeine molekulare Assistenten einschränkt. Um dieses Problem zu lösen, schlagen wir Mol-LLaMA vor, ein großes molekulares Sprachmodell, das das allgemeine Wissen über Moleküle durch multimodales Instruktions-Tuning erfasst. Zu diesem Zweck entwerfen wir Schlüssel-Datentypen, die die grundlegenden Merkmale von Molekülen umfassen und wesentliches Wissen aus Molekülstrukturen einbeziehen. Darüber hinaus führen wir ein Modul ein, das komplementäre Informationen aus verschiedenen molekularen Encodern integriert, um die unterschiedlichen Vorteile verschiedener molekularer Darstellungen zu nutzen und das Verständnis molekularer Merkmale zu verbessern. Unsere experimentellen Ergebnisse zeigen, dass Mol-LLaMA in der Lage ist, die allgemeinen Merkmale von Molekülen zu verstehen und relevante Antworten auf Benutzeranfragen mit detaillierten Erklärungen zu generieren, was sein Potenzial als allgemeiner Assistent für die Molekülanalyse verdeutlicht.

English

Understanding molecules is key to understanding organisms and driving advances in drug discovery, requiring interdisciplinary knowledge across chemistry and biology. Although large molecular language models have achieved notable success in interpreting molecular structures, their instruction datasets are limited to the specific knowledge from task-oriented datasets and do not fully cover the fundamental characteristics of molecules, hindering their abilities as general-purpose molecular assistants. To address this issue, we propose Mol-LLaMA, a large molecular language model that grasps the general knowledge centered on molecules via multi-modal instruction tuning. To this end, we design key data types that encompass the fundamental features of molecules, incorporating essential knowledge from molecular structures. In addition, to improve understanding of molecular features, we introduce a module that integrates complementary information from different molecular encoders, leveraging the distinct advantages of different molecular representations. Our experimental results demonstrate that Mol-LLaMA is capable of comprehending the general features of molecules and generating relevant responses to users' queries with detailed explanations, implying its potential as a general-purpose assistant for molecular analysis.