TOMG-Bench: Evaluación de LLMs en la Generación de Moléculas Abierta Basada en Texto

TOMG-Bench: Evaluating LLMs on Text-based Open Molecule Generation

December 19, 2024

Autores: Jiatong Li, Junxian Li, Yunqing Liu, Dongzhan Zhou, Qing Li

cs.AI

Resumen

En este documento, proponemos el Benchmark de Generación de Moléculas Basado en Texto (TOMG-Bench), el primer benchmark para evaluar la capacidad de generación de moléculas de dominio abierto de LLMs. TOMG-Bench abarca un conjunto de datos de tres tareas principales: edición de moléculas (MolEdit), optimización de moléculas (MolOpt) y generación de moléculas personalizadas (MolCustom). Cada tarea contiene además tres subtareas, y cada subtarea consta de 5,000 muestras de prueba. Dada la complejidad inherente de la generación de moléculas abierta, también hemos desarrollado un sistema de evaluación automatizado que ayuda a medir tanto la calidad como la precisión de las moléculas generadas. Nuestro exhaustivo análisis comparativo de 25 LLMs revela las limitaciones actuales y las áreas potenciales de mejora en el descubrimiento de moléculas guiado por texto. Además, con la ayuda de OpenMolIns, un conjunto de datos especializado en ajuste de instrucciones propuesto para resolver los desafíos planteados por TOMG-Bench, Llama3.1-8B pudo superar a todos los LLMs generales de código abierto, incluso superando a GPT-3.5-turbo en un 46.5\% en TOMG-Bench. Nuestros códigos y conjuntos de datos están disponibles en https://github.com/phenixace/TOMG-Bench.

English

In this paper, we propose Text-based Open Molecule Generation Benchmark (TOMG-Bench), the first benchmark to evaluate the open-domain molecule generation capability of LLMs. TOMG-Bench encompasses a dataset of three major tasks: molecule editing (MolEdit), molecule optimization (MolOpt), and customized molecule generation (MolCustom). Each task further contains three subtasks, with each subtask comprising 5,000 test samples. Given the inherent complexity of open molecule generation, we have also developed an automated evaluation system that helps measure both the quality and the accuracy of the generated molecules. Our comprehensive benchmarking of 25 LLMs reveals the current limitations and potential areas for improvement in text-guided molecule discovery. Furthermore, with the assistance of OpenMolIns, a specialized instruction tuning dataset proposed for solving challenges raised by TOMG-Bench, Llama3.1-8B could outperform all the open-source general LLMs, even surpassing GPT-3.5-turbo by 46.5\% on TOMG-Bench. Our codes and datasets are available through https://github.com/phenixace/TOMG-Bench.