知識グラフにおけるセレンディピティ発見のためのLLM評価：ドラッグリポジショニングを事例として

要旨

大規模言語モデル（LLM）は知識グラフ質問応答（KGQA）を大きく進展させたが、既存システムは一般的に、関連性が高く予測可能な回答を返すように最適化されている。現在不足しているが望まれる能力は、LLMを活用して驚きと新規性に富む（「セレンディピティな」）回答を提案することである。本論文では、セレンディピティを考慮したKGQAタスクを正式に定義し、科学的KGQAタスクにおいてLLMが予期せぬ知見を発見する能力を評価するためのSerenQAフレームワークを提案する。SerenQAは、関連性、新規性、驚きに基づく厳密なセレンディピティ指標と、臨床知識グラフから抽出した医薬品再目的化に焦点を当てた専門家による注釈付きベンチマークを含む。さらに、知識検索、部分グラフ推論、セレンディピティ探索の3つのサブタスクから構成される構造化評価パイプラインを特徴とする。実験結果から、最先端のLLMは検索タスクでは良好な性能を示すものの、真に驚きと価値のある発見を特定するには依然として課題があり、将来の改善の余地が大きいことが明らかとなった。構築したリソースと詳細版は以下で公開している：https://cwru-db-group.github.io/serenQA。

English

Large Language Models (LLMs) have greatly advanced knowledge graph question answering (KGQA), yet existing systems are typically optimized for returning highly relevant but predictable answers. A missing yet desired capacity is to exploit LLMs to suggest surprise and novel ("serendipitious") answers. In this paper, we formally define the serendipity-aware KGQA task and propose the SerenQA framework to evaluate LLMs' ability to uncover unexpected insights in scientific KGQA tasks. SerenQA includes a rigorous serendipity metric based on relevance, novelty, and surprise, along with an expert-annotated benchmark derived from the Clinical Knowledge Graph, focused on drug repurposing. Additionally, it features a structured evaluation pipeline encompassing three subtasks: knowledge retrieval, subgraph reasoning, and serendipity exploration. Our experiments reveal that while state-of-the-art LLMs perform well on retrieval, they still struggle to identify genuinely surprising and valuable discoveries, underscoring a significant room for future improvements. Our curated resources and extended version are released at: https://cwru-db-group.github.io/serenQA.

知識グラフにおけるセレンディピティ発見のためのLLM評価：ドラッグリポジショニングを事例として

Assessing LLMs for Serendipity Discovery in Knowledge Graphs: A Case for Drug Repurposing

要旨

Support