MolReFlect: Hacia alineamientos detallados en contexto entre moléculas y textos

MolReFlect: Towards In-Context Fine-grained Alignments between Molecules and Texts

November 22, 2024

Autores: Jiatong Li, Yunqing Liu, Wei Liu, Jingdi Le, Di Zhang, Wenqi Fan, Dongzhan Zhou, Yuqiang Li, Qing Li

cs.AI

Resumen

El descubrimiento de moléculas es un campo de investigación fundamental que impacta desde los medicamentos que tomamos hasta los materiales que utilizamos. Recientemente, los Modelos de Lenguaje Grandes (LLMs, por sus siglas en inglés) han sido ampliamente adoptados en la comprensión y generación de moléculas, sin embargo, las alineaciones entre las moléculas y sus correspondientes leyendas siguen siendo un desafío significativo. Esfuerzos previos a menudo tratan a la molécula como una cadena SMILES general o un grafo molecular, descuidando las alineaciones detalladas entre las subestructuras moleculares y las frases textuales descriptivas, las cuales son cruciales para predicciones precisas y explicables. En este caso, presentamos MolReFlect, un novedoso marco de trabajo profesor-alumno diseñado para realizar las alineaciones molécula-leyenda de manera detallada y contextual. Nuestro enfoque aprovecha inicialmente un profesor LLM más grande para etiquetar las alineaciones detalladas extrayendo directamente frases críticas de leyendas de moléculas o cadenas SMILES e implicándolas en las subestructuras o características correspondientes. Para refinar estas alineaciones, proponemos Reflexión Selectiva en Contexto, que recupera resultados de extracciones previas como ejemplos de contexto para que el profesor LLM reflexione y permite que un alumno LLM más pequeño seleccione entre la reflexión en contexto y los resultados de extracciones previas. Finalmente, mejoramos el proceso de aprendizaje del alumno LLM a través de Ajuste de Molécula en Contexto de Cadena de Pensamiento, integrando las alineaciones detalladas y los procesos de razonamiento dentro del formato de Cadena de Pensamiento. Nuestros resultados experimentales demuestran que MolReFlect permite a LLMs como Mistral-7B superar significativamente los baselines anteriores, logrando un rendimiento de última generación en el conjunto de datos ChEBI-20. Este avance no solo mejora las capacidades generativas de los LLMs en la tarea de traducción molécula-leyenda, sino que también contribuye a un marco de trabajo más explicativo.

English

Molecule discovery is a pivotal research field, impacting everything from the medicines we take to the materials we use. Recently, Large Language Models (LLMs) have been widely adopted in molecule understanding and generation, yet the alignments between molecules and their corresponding captions remain a significant challenge. Previous endeavours often treat the molecule as a general SMILES string or molecular graph, neglecting the fine-grained alignments between the molecular sub-structures and the descriptive textual phrases, which are crucial for accurate and explainable predictions. In this case, we introduce MolReFlect, a novel teacher-student framework designed to contextually perform the molecule-caption alignments in a fine-grained way. Our approach initially leverages a larger teacher LLM to label the detailed alignments by directly extracting critical phrases from molecule captions or SMILES strings and implying them to corresponding sub-structures or characteristics. To refine these alignments, we propose In-Context Selective Reflection, which retrieves previous extraction results as context examples for teacher LLM to reflect and lets a smaller student LLM select from in-context reflection and previous extraction results. Finally, we enhance the learning process of the student LLM through Chain-of-Thought In-Context Molecule Tuning, integrating the fine-grained alignments and the reasoning processes within the Chain-of-Thought format. Our experimental results demonstrate that MolReFlect enables LLMs like Mistral-7B to significantly outperform the previous baselines, achieving SOTA performance on the ChEBI-20 dataset. This advancement not only enhances the generative capabilities of LLMs in the molecule-caption translation task, but also contributes to a more explainable framework.