幻覚は、薬剤探索において大規模言語モデルを改善する可能性があります。

Hallucinations Can Improve Large Language Models in Drug Discovery

January 23, 2025

著者: Shuzhou Yuan, Michael Färber

cs.AI

要旨

研究者によって、大規模言語モデル（LLMs）における幻覚に関する懸念が提起されていますが、創造性が重要な領域、例えば薬物発見において、その潜在能力は探求されるべきです。本論文では、幻覚が薬物発見においてLLMsの性能を向上させる可能性があるという仮説を立てます。この仮説を検証するために、LLMsを使用して分子のSMILES文字列を自然言語で記述し、これらの記述をプロンプトの一部として取り入れて薬物発見の特定のタスクに取り組みます。7つのLLMsと5つの分類タスクで評価した結果、当社の調査結果は仮説を裏付けます：幻覚を含むテキストを使用することで、LLMsはより優れたパフォーマンスを達成できます。特に、Llama-3.1-8Bは、幻覚のないベースラインと比較して、ROC-AUCで18.35％の利益を達成します。さらに、GPT-4oによって生成された幻覚は、モデル全体で最も一貫した改善を提供します。さらに、パフォーマンスに影響を与える主要な要因とその根本的な理由を調査するために、実証分析とケーススタディを実施します。当社の研究は、LLMsにおける幻覚の潜在的な利用法を明らかにし、薬物発見においてLLMsを活用した将来の研究に向けた新しい視点を提供しています。

English

Concerns about hallucinations in Large Language Models (LLMs) have been raised by researchers, yet their potential in areas where creativity is vital, such as drug discovery, merits exploration. In this paper, we come up with the hypothesis that hallucinations can improve LLMs in drug discovery. To verify this hypothesis, we use LLMs to describe the SMILES string of molecules in natural language and then incorporate these descriptions as part of the prompt to address specific tasks in drug discovery. Evaluated on seven LLMs and five classification tasks, our findings confirm the hypothesis: LLMs can achieve better performance with text containing hallucinations. Notably, Llama-3.1-8B achieves an 18.35% gain in ROC-AUC compared to the baseline without hallucination. Furthermore, hallucinations generated by GPT-4o provide the most consistent improvements across models. Additionally, we conduct empirical analyses and a case study to investigate key factors affecting performance and the underlying reasons. Our research sheds light on the potential use of hallucinations for LLMs and offers new perspectives for future research leveraging LLMs in drug discovery.