Галлюцинации могут улучшить крупные языковые модели в области поиска лекарств.

Hallucinations Can Improve Large Language Models in Drug Discovery

January 23, 2025

Авторы: Shuzhou Yuan, Michael Färber

cs.AI

Аннотация

Исследователи высказали опасения относительно галлюцинаций в крупных языковых моделях (LLM), однако их потенциал в областях, где креативность играет важную роль, таких как поиск лекарств, заслуживает изучения. В данной статье мы выдвигаем гипотезу о том, что галлюцинации могут улучшить LLM в области поиска лекарств. Для проверки этой гипотезы мы используем LLM для описания строк SMILES молекул на естественном языке, а затем включаем эти описания в качестве части запроса для решения конкретных задач в области поиска лекарств. Оценивая на семи LLM и пяти задачах классификации, наши результаты подтверждают гипотезу: LLM могут достичь лучшей производительности с текстом, содержащим галлюцинации. Заметно, что Llama-3.1-8B достигает увеличения в ROC-AUC на 18,35% по сравнению с базовым уровнем без галлюцинаций. Кроме того, галлюцинации, сгенерированные GPT-4o, обеспечивают наиболее последовательные улучшения среди моделей. Кроме того, мы проводим эмпирические анализы и кейс-стади для изучения ключевых факторов, влияющих на производительность, и основных причин. Наше исследование проливает свет на потенциальное использование галлюцинаций для LLM и предлагает новые перспективы для будущих исследований, использующих LLM в области поиска лекарств.

English

Concerns about hallucinations in Large Language Models (LLMs) have been raised by researchers, yet their potential in areas where creativity is vital, such as drug discovery, merits exploration. In this paper, we come up with the hypothesis that hallucinations can improve LLMs in drug discovery. To verify this hypothesis, we use LLMs to describe the SMILES string of molecules in natural language and then incorporate these descriptions as part of the prompt to address specific tasks in drug discovery. Evaluated on seven LLMs and five classification tasks, our findings confirm the hypothesis: LLMs can achieve better performance with text containing hallucinations. Notably, Llama-3.1-8B achieves an 18.35% gain in ROC-AUC compared to the baseline without hallucination. Furthermore, hallucinations generated by GPT-4o provide the most consistent improvements across models. Additionally, we conduct empirical analyses and a case study to investigate key factors affecting performance and the underlying reasons. Our research sheds light on the potential use of hallucinations for LLMs and offers new perspectives for future research leveraging LLMs in drug discovery.