Évaluation des modèles de langage de grande taille pour la découverte de sérendipité dans les graphes de connaissances : le cas du repositionnement de médicaments
Assessing LLMs for Serendipity Discovery in Knowledge Graphs: A Case for Drug Repurposing
November 16, 2025
papers.authors: Mengying Wang, Chenhui Ma, Ao Jiao, Tuo Liang, Pengjun Lu, Shrinidhi Hegde, Yu Yin, Evren Gurkan-Cavusoglu, Yinghui Wu
cs.AI
papers.abstract
Les grands modèles de langage (LLM) ont considérablement fait progresser les systèmes de question-réponse sur graphes de connaissances (KGQA). Cependant, les systèmes existants sont généralement optimisés pour renvoyer des réponses pertinentes mais prévisibles. Une capacité manquante mais souhaitée est d'exploiter les LLM pour suggérer des réponses surprenantes et nouvelles (« sérendipiteuses »). Dans cet article, nous définissons formellement la tâche de KGQA prenant en compte la sérendipité et proposons le cadre SerenQA pour évaluer la capacité des LLM à découvrir des insights inattendus dans les tâches de KGQA scientifique. SerenQA inclut une métrique rigoureuse de sérendipité basée sur la pertinence, la nouveauté et la surprise, ainsi qu'un benchmark annoté par des experts dérivé du Graphe de Connaissances Cliniques, axé sur le repositionnement de médicaments. De plus, il comporte un pipeline d'évaluation structuré couvrant trois sous-tâches : la récupération de connaissances, le raisonnement sur sous-graphe et l'exploration de la sérendipité. Nos expériences révèlent que si les LLM de pointe performent bien en récupération, ils peinent encore à identifier des découvertes véritablement surprenantes et précieuses, soulignant une marge d'amélioration significative pour le futur. Nos ressources compilées et notre version étendue sont disponibles à l'adresse : https://cwru-db-group.github.io/serenQA.
English
Large Language Models (LLMs) have greatly advanced knowledge graph question answering (KGQA), yet existing systems are typically optimized for returning highly relevant but predictable answers. A missing yet desired capacity is to exploit LLMs to suggest surprise and novel ("serendipitious") answers. In this paper, we formally define the serendipity-aware KGQA task and propose the SerenQA framework to evaluate LLMs' ability to uncover unexpected insights in scientific KGQA tasks. SerenQA includes a rigorous serendipity metric based on relevance, novelty, and surprise, along with an expert-annotated benchmark derived from the Clinical Knowledge Graph, focused on drug repurposing. Additionally, it features a structured evaluation pipeline encompassing three subtasks: knowledge retrieval, subgraph reasoning, and serendipity exploration. Our experiments reveal that while state-of-the-art LLMs perform well on retrieval, they still struggle to identify genuinely surprising and valuable discoveries, underscoring a significant room for future improvements. Our curated resources and extended version are released at: https://cwru-db-group.github.io/serenQA.