Las alucinaciones pueden mejorar los modelos de lenguaje amplios en el descubrimiento de fármacos.

Hallucinations Can Improve Large Language Models in Drug Discovery

January 23, 2025

Autores: Shuzhou Yuan, Michael Färber

cs.AI

Resumen

Se han planteado preocupaciones sobre alucinaciones en Modelos de Lenguaje Grandes (LLMs) por parte de investigadores, sin embargo, su potencial en áreas donde la creatividad es vital, como el descubrimiento de fármacos, merece ser explorado. En este documento, proponemos la hipótesis de que las alucinaciones pueden mejorar los LLMs en el descubrimiento de fármacos. Para verificar esta hipótesis, utilizamos LLMs para describir la cadena SMILES de moléculas en lenguaje natural y luego incorporamos estas descripciones como parte de la indicación para abordar tareas específicas en el descubrimiento de fármacos. Evaluados en siete LLMs y cinco tareas de clasificación, nuestros hallazgos confirman la hipótesis: los LLMs pueden lograr un mejor rendimiento con texto que contiene alucinaciones. Notablemente, Llama-3.1-8B logra un aumento del 18.35% en ROC-AUC en comparación con la línea base sin alucinación. Además, las alucinaciones generadas por GPT-4o proporcionan las mejoras más consistentes entre los modelos. Además, realizamos análisis empíricos y un estudio de caso para investigar los factores clave que afectan al rendimiento y las razones subyacentes. Nuestra investigación arroja luz sobre el uso potencial de alucinaciones para LLMs y ofrece nuevas perspectivas para futuras investigaciones que aprovechen los LLMs en el descubrimiento de fármacos.

English

Concerns about hallucinations in Large Language Models (LLMs) have been raised by researchers, yet their potential in areas where creativity is vital, such as drug discovery, merits exploration. In this paper, we come up with the hypothesis that hallucinations can improve LLMs in drug discovery. To verify this hypothesis, we use LLMs to describe the SMILES string of molecules in natural language and then incorporate these descriptions as part of the prompt to address specific tasks in drug discovery. Evaluated on seven LLMs and five classification tasks, our findings confirm the hypothesis: LLMs can achieve better performance with text containing hallucinations. Notably, Llama-3.1-8B achieves an 18.35% gain in ROC-AUC compared to the baseline without hallucination. Furthermore, hallucinations generated by GPT-4o provide the most consistent improvements across models. Additionally, we conduct empirical analyses and a case study to investigate key factors affecting performance and the underlying reasons. Our research sheds light on the potential use of hallucinations for LLMs and offers new perspectives for future research leveraging LLMs in drug discovery.