Naar Betrouwbare Biomedische Hypothesegeneratie: Evaluatie van Waarheidsgetrouwheid en Hallucinatie in Grote Taalmodellen

Toward Reliable Biomedical Hypothesis Generation: Evaluating Truthfulness and Hallucination in Large Language Models

May 20, 2025

Auteurs: Guangzhi Xiong, Eric Xie, Corey Williams, Myles Kim, Amir Hassan Shariatmadari, Sikun Guo, Stefan Bekiranov, Aidong Zhang

cs.AI

Samenvatting

Grote taalmodellen (LLM's) hebben aanzienlijk potentieel getoond in wetenschappelijke disciplines zoals biomedische wetenschappen, met name bij het genereren van hypothesen, waarbij ze uitgebreide literatuur kunnen analyseren, patronen kunnen identificeren en onderzoeksrichtingen kunnen suggereren. Een belangrijke uitdaging ligt echter in het evalueren van de waarheidsgetrouwheid van gegenereerde hypothesen, aangezien het verifiëren van hun nauwkeurigheid vaak aanzienlijke tijd en middelen vereist. Bovendien kan het hallucinatieprobleem in LLM's leiden tot het genereren van hypothesen die plausibel lijken maar uiteindelijk onjuist zijn, wat hun betrouwbaarheid ondermijnt. Om het systematische onderzoek naar deze uitdagingen te vergemakkelijken, introduceren we TruthHypo, een benchmark voor het beoordelen van de mogelijkheden van LLM's bij het genereren van waarheidsgetrouwe biomedische hypothesen, en KnowHD, een kennisgebaseerde hallucinatiedetector om te evalueren hoe goed hypothesen zijn verankerd in bestaande kennis. Onze resultaten tonen aan dat LLM's moeite hebben om waarheidsgetrouwe hypothesen te genereren. Door hallucinaties in redeneerstappen te analyseren, laten we zien dat de verankeringsscores die door KnowHD worden geleverd, een effectieve maatstaf vormen voor het filteren van waarheidsgetrouwe hypothesen uit de diverse uitvoer van LLM's. Menselijke evaluaties valideren verder de bruikbaarheid van KnowHD bij het identificeren van waarheidsgetrouwe hypothesen en het versnellen van wetenschappelijke ontdekkingen. Onze gegevens en broncode zijn beschikbaar op https://github.com/Teddy-XiongGZ/TruthHypo.

English

Large language models (LLMs) have shown significant potential in scientific disciplines such as biomedicine, particularly in hypothesis generation, where they can analyze vast literature, identify patterns, and suggest research directions. However, a key challenge lies in evaluating the truthfulness of generated hypotheses, as verifying their accuracy often requires substantial time and resources. Additionally, the hallucination problem in LLMs can lead to the generation of hypotheses that appear plausible but are ultimately incorrect, undermining their reliability. To facilitate the systematic study of these challenges, we introduce TruthHypo, a benchmark for assessing the capabilities of LLMs in generating truthful biomedical hypotheses, and KnowHD, a knowledge-based hallucination detector to evaluate how well hypotheses are grounded in existing knowledge. Our results show that LLMs struggle to generate truthful hypotheses. By analyzing hallucinations in reasoning steps, we demonstrate that the groundedness scores provided by KnowHD serve as an effective metric for filtering truthful hypotheses from the diverse outputs of LLMs. Human evaluations further validate the utility of KnowHD in identifying truthful hypotheses and accelerating scientific discovery. Our data and source code are available at https://github.com/Teddy-XiongGZ/TruthHypo.