Vers une génération fiable d'hypothèses biomédicales : Évaluation de la véracité et des hallucinations dans les grands modèles de langage

Toward Reliable Biomedical Hypothesis Generation: Evaluating Truthfulness and Hallucination in Large Language Models

May 20, 2025

Auteurs: Guangzhi Xiong, Eric Xie, Corey Williams, Myles Kim, Amir Hassan Shariatmadari, Sikun Guo, Stefan Bekiranov, Aidong Zhang

cs.AI

Résumé

Les grands modèles de langage (LLMs) ont démontré un potentiel significatif dans des disciplines scientifiques telles que la biomédecine, notamment dans la génération d'hypothèses, où ils peuvent analyser une vaste littérature, identifier des modèles et suggérer des orientations de recherche. Cependant, un défi majeur réside dans l'évaluation de la véracité des hypothèses générées, car la vérification de leur exactitude nécessite souvent un temps et des ressources considérables. De plus, le problème d'hallucination des LLMs peut conduire à la génération d'hypothèses qui semblent plausibles mais qui sont finalement incorrectes, compromettant ainsi leur fiabilité. Pour faciliter l'étude systématique de ces défis, nous introduisons TruthHypo, un benchmark pour évaluer les capacités des LLMs à générer des hypothèses biomédicales véridiques, et KnowHD, un détecteur d'hallucinations basé sur la connaissance pour évaluer dans quelle mesure les hypothèses sont ancrées dans les connaissances existantes. Nos résultats montrent que les LLMs peinent à générer des hypothèses véridiques. En analysant les hallucinations dans les étapes de raisonnement, nous démontrons que les scores de fondement fournis par KnowHD constituent une métrique efficace pour filtrer les hypothèses véridiques parmi les diverses sorties des LLMs. Les évaluations humaines valident en outre l'utilité de KnowHD pour identifier les hypothèses véridiques et accélérer la découverte scientifique. Nos données et notre code source sont disponibles à l'adresse https://github.com/Teddy-XiongGZ/TruthHypo.

English

Large language models (LLMs) have shown significant potential in scientific disciplines such as biomedicine, particularly in hypothesis generation, where they can analyze vast literature, identify patterns, and suggest research directions. However, a key challenge lies in evaluating the truthfulness of generated hypotheses, as verifying their accuracy often requires substantial time and resources. Additionally, the hallucination problem in LLMs can lead to the generation of hypotheses that appear plausible but are ultimately incorrect, undermining their reliability. To facilitate the systematic study of these challenges, we introduce TruthHypo, a benchmark for assessing the capabilities of LLMs in generating truthful biomedical hypotheses, and KnowHD, a knowledge-based hallucination detector to evaluate how well hypotheses are grounded in existing knowledge. Our results show that LLMs struggle to generate truthful hypotheses. By analyzing hallucinations in reasoning steps, we demonstrate that the groundedness scores provided by KnowHD serve as an effective metric for filtering truthful hypotheses from the diverse outputs of LLMs. Human evaluations further validate the utility of KnowHD in identifying truthful hypotheses and accelerating scientific discovery. Our data and source code are available at https://github.com/Teddy-XiongGZ/TruthHypo.