Bewertung von LLMs für die Entdeckung von Seresendipität in Wissensgraphen: Eine Fallstudie zur Arzneimittelneuverwendung
Assessing LLMs for Serendipity Discovery in Knowledge Graphs: A Case for Drug Repurposing
November 16, 2025
papers.authors: Mengying Wang, Chenhui Ma, Ao Jiao, Tuo Liang, Pengjun Lu, Shrinidhi Hegde, Yu Yin, Evren Gurkan-Cavusoglu, Yinghui Wu
cs.AI
papers.abstract
Große Sprachmodelle (LLMs) haben die Wissensgraphen-Fragebeantwortung (KGQA) erheblich vorangetrieben, doch bestehende Systeme sind typischerweise darauf optimiert, hochrelevante, aber vorhersehbare Antworten zu liefern. Eine fehlende, jedoch wünschenswerte Fähigkeit ist es, LLMs so zu nutzen, dass sie überraschende und neuartige („serendipitive“) Antworten vorschlagen. In diesem Artikel definieren wir formal die serendipity-bewusste KGQA-Aufgabe und schlagen das SerenQA-Framework vor, um die Fähigkeit von LLMs zu bewerten, unerwartete Erkenntnisse in wissenschaftlichen KGQA-Aufgaben zu entdecken. SerenQA umfasst eine rigorose Serendipity-Metrik, die auf Relevanz, Neuheit und Überraschung basiert, sowie einen expertenannotierten Benchmark, der aus dem Clinical Knowledge Graph mit Fokus auf Drug Repurposing abgeleitet wurde. Zusätzlich beinhaltet es eine strukturierte Evaluierungspipeline, die drei Teilaufgaben umfasst: Wissensabruf, Subgraphen-Inferenz und Serendipity-Exploration. Unsere Experimente zeigen, dass state-of-the-art LLMs zwar gute Leistungen beim Abruf erbringen, sie jedoch nach wie vor Schwierigkeiten haben, wirklich überraschende und wertvolle Entdeckungen zu identifizieren, was auf erheblichen Verbesserungsbedarf für die Zukunft hinweist. Unsere kuratierten Ressourcen und die erweiterte Version sind veröffentlicht unter: https://cwru-db-group.github.io/serenQA.
English
Large Language Models (LLMs) have greatly advanced knowledge graph question answering (KGQA), yet existing systems are typically optimized for returning highly relevant but predictable answers. A missing yet desired capacity is to exploit LLMs to suggest surprise and novel ("serendipitious") answers. In this paper, we formally define the serendipity-aware KGQA task and propose the SerenQA framework to evaluate LLMs' ability to uncover unexpected insights in scientific KGQA tasks. SerenQA includes a rigorous serendipity metric based on relevance, novelty, and surprise, along with an expert-annotated benchmark derived from the Clinical Knowledge Graph, focused on drug repurposing. Additionally, it features a structured evaluation pipeline encompassing three subtasks: knowledge retrieval, subgraph reasoning, and serendipity exploration. Our experiments reveal that while state-of-the-art LLMs perform well on retrieval, they still struggle to identify genuinely surprising and valuable discoveries, underscoring a significant room for future improvements. Our curated resources and extended version are released at: https://cwru-db-group.github.io/serenQA.