TOMG-Bench: Evaluatie van LLM's op op tekst gebaseerde open moleculengeneratie.

TOMG-Bench: Evaluating LLMs on Text-based Open Molecule Generation

December 19, 2024

Auteurs: Jiatong Li, Junxian Li, Yunqing Liu, Dongzhan Zhou, Qing Li

cs.AI

Samenvatting

In dit artikel stellen we Text-based Open Molecule Generation Benchmark (TOMG-Bench) voor, de eerste benchmark om de open-domain molecule generatiecapaciteit van LLMs te evalueren. TOMG-Bench omvat een dataset van drie belangrijke taken: molecule bewerking (MolEdit), molecule optimalisatie (MolOpt), en aangepaste molecule generatie (MolCustom). Elke taak bevat op zijn beurt drie subtaken, waarbij elke subtaak bestaat uit 5.000 testvoorbeelden. Gezien de inherente complexiteit van open molecule generatie, hebben we ook een geautomatiseerd evaluatiesysteem ontwikkeld dat helpt zowel de kwaliteit als de nauwkeurigheid van de gegenereerde moleculen te meten. Onze uitgebreide benchmarking van 25 LLMs onthult de huidige beperkingen en mogelijke verbeteringsgebieden in tekstgestuurde molecule ontdekking. Verder kon, met behulp van OpenMolIns, een gespecialiseerde instructie-afstemmingsdataset voorgesteld voor het oplossen van uitdagingen die door TOMG-Bench worden gesteld, Llama3.1-8B alle open-source algemene LLMs overtreffen, zelfs GPT-3.5-turbo met 46,5% op TOMG-Bench. Onze codes en datasets zijn beschikbaar via https://github.com/phenixace/TOMG-Bench.

English

In this paper, we propose Text-based Open Molecule Generation Benchmark (TOMG-Bench), the first benchmark to evaluate the open-domain molecule generation capability of LLMs. TOMG-Bench encompasses a dataset of three major tasks: molecule editing (MolEdit), molecule optimization (MolOpt), and customized molecule generation (MolCustom). Each task further contains three subtasks, with each subtask comprising 5,000 test samples. Given the inherent complexity of open molecule generation, we have also developed an automated evaluation system that helps measure both the quality and the accuracy of the generated molecules. Our comprehensive benchmarking of 25 LLMs reveals the current limitations and potential areas for improvement in text-guided molecule discovery. Furthermore, with the assistance of OpenMolIns, a specialized instruction tuning dataset proposed for solving challenges raised by TOMG-Bench, Llama3.1-8B could outperform all the open-source general LLMs, even surpassing GPT-3.5-turbo by 46.5\% on TOMG-Bench. Our codes and datasets are available through https://github.com/phenixace/TOMG-Bench.