Le allucinazioni possono migliorare i grandi modelli linguistici nella scoperta di farmaci.

Hallucinations Can Improve Large Language Models in Drug Discovery

January 23, 2025

Autori: Shuzhou Yuan, Michael Färber

cs.AI

Abstract

Preoccupazioni riguardanti le allucinazioni nei Large Language Models (LLM) sono state sollevate dai ricercatori, tuttavia il loro potenziale in settori in cui la creatività è vitale, come la scoperta di farmaci, merita esplorazione. In questo articolo, avanziamo l'ipotesi che le allucinazioni possano migliorare i LLM nella scoperta di farmaci. Per verificare questa ipotesi, utilizziamo i LLM per descrivere la stringa SMILES delle molecole in linguaggio naturale e poi incorporiamo tali descrizioni come parte del prompt per affrontare compiti specifici nella scoperta di farmaci. Valutati su sette LLM e cinque compiti di classificazione, i nostri risultati confermano l'ipotesi: i LLM possono ottenere migliori prestazioni con testo contenente allucinazioni. In particolare, Llama-3.1-8B ottiene un aumento del 18,35% nella ROC-AUC rispetto al valore di base senza allucinazioni. Inoltre, le allucinazioni generate da GPT-4o forniscono i miglioramenti più consistenti tra i modelli. Inoltre, conduciamo analisi empiriche e uno studio di caso per indagare i fattori chiave che influenzano le prestazioni e le ragioni sottostanti. La nostra ricerca getta luce sull'uso potenziale delle allucinazioni per i LLM e offre nuove prospettive per futuri studi che sfruttano i LLM nella scoperta di farmaci.

English

Concerns about hallucinations in Large Language Models (LLMs) have been raised by researchers, yet their potential in areas where creativity is vital, such as drug discovery, merits exploration. In this paper, we come up with the hypothesis that hallucinations can improve LLMs in drug discovery. To verify this hypothesis, we use LLMs to describe the SMILES string of molecules in natural language and then incorporate these descriptions as part of the prompt to address specific tasks in drug discovery. Evaluated on seven LLMs and five classification tasks, our findings confirm the hypothesis: LLMs can achieve better performance with text containing hallucinations. Notably, Llama-3.1-8B achieves an 18.35% gain in ROC-AUC compared to the baseline without hallucination. Furthermore, hallucinations generated by GPT-4o provide the most consistent improvements across models. Additionally, we conduct empirical analyses and a case study to investigate key factors affecting performance and the underlying reasons. Our research sheds light on the potential use of hallucinations for LLMs and offers new perspectives for future research leveraging LLMs in drug discovery.