Alucinações Podem Melhorar Modelos de Linguagem Avançados na Descoberta de Medicamentos

Hallucinations Can Improve Large Language Models in Drug Discovery

January 23, 2025

Autores: Shuzhou Yuan, Michael Färber

cs.AI

Resumo

Preocupações sobre alucinações em Modelos de Linguagem de Grande Escala (LLMs) têm sido levantadas por pesquisadores, no entanto, seu potencial em áreas onde a criatividade é vital, como a descoberta de medicamentos, merece exploração. Neste artigo, formulamos a hipótese de que alucinações podem melhorar os LLMs na descoberta de medicamentos. Para verificar essa hipótese, utilizamos LLMs para descrever a sequência SMILES de moléculas em linguagem natural e depois incorporamos essas descrições como parte do estímulo para abordar tarefas específicas na descoberta de medicamentos. Avaliados em sete LLMs e cinco tarefas de classificação, nossas descobertas confirmam a hipótese: LLMs podem alcançar melhor desempenho com texto contendo alucinações. Notavelmente, o Llama-3.1-8B alcança um aumento de 18,35% no ROC-AUC em comparação com a linha de base sem alucinação. Além disso, alucinações geradas pelo GPT-4o proporcionam as melhorias mais consistentes entre os modelos. Adicionalmente, conduzimos análises empíricas e um estudo de caso para investigar os principais fatores que afetam o desempenho e as razões subjacentes. Nossa pesquisa lança luz sobre o uso potencial de alucinações para LLMs e oferece novas perspectivas para futuras pesquisas aproveitando LLMs na descoberta de medicamentos.

English

Concerns about hallucinations in Large Language Models (LLMs) have been raised by researchers, yet their potential in areas where creativity is vital, such as drug discovery, merits exploration. In this paper, we come up with the hypothesis that hallucinations can improve LLMs in drug discovery. To verify this hypothesis, we use LLMs to describe the SMILES string of molecules in natural language and then incorporate these descriptions as part of the prompt to address specific tasks in drug discovery. Evaluated on seven LLMs and five classification tasks, our findings confirm the hypothesis: LLMs can achieve better performance with text containing hallucinations. Notably, Llama-3.1-8B achieves an 18.35% gain in ROC-AUC compared to the baseline without hallucination. Furthermore, hallucinations generated by GPT-4o provide the most consistent improvements across models. Additionally, we conduct empirical analyses and a case study to investigate key factors affecting performance and the underlying reasons. Our research sheds light on the potential use of hallucinations for LLMs and offers new perspectives for future research leveraging LLMs in drug discovery.