Les hallucinations peuvent améliorer les grands modèles de langage dans la découverte de médicaments.

Hallucinations Can Improve Large Language Models in Drug Discovery

January 23, 2025

Auteurs: Shuzhou Yuan, Michael Färber

cs.AI

Résumé

Des préoccupations concernant les hallucinations dans les Modèles de Langage de Grande Taille (LLMs) ont été soulevées par les chercheurs, cependant leur potentiel dans des domaines où la créativité est essentielle, tels que la découverte de médicaments, mérite d'être exploré. Dans cet article, nous formulons l'hypothèse que les hallucinations peuvent améliorer les LLMs dans la découverte de médicaments. Pour vérifier cette hypothèse, nous utilisons les LLMs pour décrire la chaîne SMILES des molécules en langage naturel, puis incorporons ces descriptions comme partie de l'invite pour aborder des tâches spécifiques dans la découverte de médicaments. Évaluées sur sept LLMs et cinq tâches de classification, nos résultats confirment l'hypothèse : les LLMs peuvent obtenir de meilleures performances avec du texte contenant des hallucinations. Notamment, Llama-3.1-8B obtient un gain de 18,35% en ROC-AUC par rapport à la ligne de base sans hallucination. De plus, les hallucinations générées par GPT-4o offrent les améliorations les plus cohérentes à travers les modèles. De plus, nous menons des analyses empiriques et une étude de cas pour enquêter sur les facteurs clés affectant les performances et les raisons sous-jacentes. Notre recherche met en lumière l'utilisation potentielle des hallucinations pour les LLMs et offre de nouvelles perspectives pour la recherche future exploitant les LLMs dans la découverte de médicaments.

English

Concerns about hallucinations in Large Language Models (LLMs) have been raised by researchers, yet their potential in areas where creativity is vital, such as drug discovery, merits exploration. In this paper, we come up with the hypothesis that hallucinations can improve LLMs in drug discovery. To verify this hypothesis, we use LLMs to describe the SMILES string of molecules in natural language and then incorporate these descriptions as part of the prompt to address specific tasks in drug discovery. Evaluated on seven LLMs and five classification tasks, our findings confirm the hypothesis: LLMs can achieve better performance with text containing hallucinations. Notably, Llama-3.1-8B achieves an 18.35% gain in ROC-AUC compared to the baseline without hallucination. Furthermore, hallucinations generated by GPT-4o provide the most consistent improvements across models. Additionally, we conduct empirical analyses and a case study to investigate key factors affecting performance and the underlying reasons. Our research sheds light on the potential use of hallucinations for LLMs and offers new perspectives for future research leveraging LLMs in drug discovery.