MolReFlect: К точному выравниванию молекул и текстов в контексте

MolReFlect: Towards In-Context Fine-grained Alignments between Molecules and Texts

November 22, 2024

Авторы: Jiatong Li, Yunqing Liu, Wei Liu, Jingdi Le, Di Zhang, Wenqi Fan, Dongzhan Zhou, Yuqiang Li, Qing Li

cs.AI

Аннотация

Открытие молекул является ключевым направлением исследований, влияющим на все, начиная от лекарств, которые мы принимаем, и заканчивая материалами, которые мы используем. Недавно большие языковые модели (LLM) широко применяются в понимании и генерации молекул, однако соответствия между молекулами и их соответствующими подписями остаются значительным вызовом. Предыдущие попытки часто рассматривали молекулу как общую строку SMILES или молекулярный граф, игнорируя тонкие соответствия между молекулярными подструктурами и описательными текстовыми фразами, которые являются важными для точных и объяснимых прогнозов. В данном случае мы представляем MolReFlect, новую структуру учителя-ученика, разработанную для контекстуального выполнения соответствий между молекулой и подписью в тонкой детализации. Наш подход изначально использует более крупную учительскую LLM для маркировки детальных соответствий, прямо извлекая критические фразы из подписей молекул или строк SMILES и применяя их к соответствующим подструктурам или характеристикам. Для улучшения этих соответствий мы предлагаем метод In-Context Selective Reflection, который извлекает предыдущие результаты в качестве контекстных примеров для учительской LLM для отражения и позволяет меньшей ученической LLM выбирать из контекстного отражения и предыдущих результатов извлечения. Наконец, мы улучшаем процесс обучения ученической LLM через Chain-of-Thought In-Context Molecule Tuning, интегрируя тонкие соответствия и процессы рассуждения в формат Chain-of-Thought. Наши экспериментальные результаты показывают, что MolReFlect позволяет LLM, такие как Mistral-7B, значительно превзойти предыдущие базовые уровни, достигнув лучшей производительности на наборе данных ChEBI-20. Этот прогресс не только улучшает генеративные возможности LLM в задаче перевода молекула-подпись, но также способствует более объяснимой структуре.

English

Molecule discovery is a pivotal research field, impacting everything from the medicines we take to the materials we use. Recently, Large Language Models (LLMs) have been widely adopted in molecule understanding and generation, yet the alignments between molecules and their corresponding captions remain a significant challenge. Previous endeavours often treat the molecule as a general SMILES string or molecular graph, neglecting the fine-grained alignments between the molecular sub-structures and the descriptive textual phrases, which are crucial for accurate and explainable predictions. In this case, we introduce MolReFlect, a novel teacher-student framework designed to contextually perform the molecule-caption alignments in a fine-grained way. Our approach initially leverages a larger teacher LLM to label the detailed alignments by directly extracting critical phrases from molecule captions or SMILES strings and implying them to corresponding sub-structures or characteristics. To refine these alignments, we propose In-Context Selective Reflection, which retrieves previous extraction results as context examples for teacher LLM to reflect and lets a smaller student LLM select from in-context reflection and previous extraction results. Finally, we enhance the learning process of the student LLM through Chain-of-Thought In-Context Molecule Tuning, integrating the fine-grained alignments and the reasoning processes within the Chain-of-Thought format. Our experimental results demonstrate that MolReFlect enables LLMs like Mistral-7B to significantly outperform the previous baselines, achieving SOTA performance on the ChEBI-20 dataset. This advancement not only enhances the generative capabilities of LLMs in the molecule-caption translation task, but also contributes to a more explainable framework.