지식 그래프에서 돌발적 발견을 위한 LLM 평가: 약물 재창출 사례

초록

대규모 언어 모델(LLM)은 지식 그래프 질의응답(KGQA)을 크게 발전시켰으나, 기존 시스템은 일반적으로 높은 관련성을 가진 예측 가능한 답변을 반환하도록 최적화되어 있습니다. 아직 부재하지만 요구되는 능력은 LLM을 활용하여 놀랍고 새로운("우연한 발견적") 답변을 제안하는 것입니다. 본 논문에서는 우연한 발견 인식 KGQA 과제를 공식적으로 정의하고, 과학적 KGQA 과제에서 LLM의 예상치 못한 통찰력 발굴 능력을 평가하기 위한 SerenQA 프레임워크를 제안합니다. SerenQA는 관련성, 참신성, 놀라움을 기반으로 한 엄격한 우연한 발견 메트릭과 약물 재창출에 초점을 맞춘 Clinical Knowledge Graph에서 도출된 전문가 주석 벤치마크를 포함합니다. 또한 지식 검색, 서브그래프 추론, 우연한 발견 탐색이라는 세 가지 하위 과제를 포괄하는 구조화된 평가 파이프라인을 특징으로 합니다. 우리의 실험 결과에 따르면, 최첨단 LLM은 검색에서는 우수한 성능을 보이지만, 진정으로 놀랍고 가치 있는 발견을 식별하는 데는 여전히 어려움을 겪어 향후 개선이 필요함을 시사합니다. 우리가 정리한 자료와 확장 버전은 https://cwru-db-group.github.io/serenQA 에서 공개되었습니다.

English

Large Language Models (LLMs) have greatly advanced knowledge graph question answering (KGQA), yet existing systems are typically optimized for returning highly relevant but predictable answers. A missing yet desired capacity is to exploit LLMs to suggest surprise and novel ("serendipitious") answers. In this paper, we formally define the serendipity-aware KGQA task and propose the SerenQA framework to evaluate LLMs' ability to uncover unexpected insights in scientific KGQA tasks. SerenQA includes a rigorous serendipity metric based on relevance, novelty, and surprise, along with an expert-annotated benchmark derived from the Clinical Knowledge Graph, focused on drug repurposing. Additionally, it features a structured evaluation pipeline encompassing three subtasks: knowledge retrieval, subgraph reasoning, and serendipity exploration. Our experiments reveal that while state-of-the-art LLMs perform well on retrieval, they still struggle to identify genuinely surprising and valuable discoveries, underscoring a significant room for future improvements. Our curated resources and extended version are released at: https://cwru-db-group.github.io/serenQA.

지식 그래프에서 돌발적 발견을 위한 LLM 평가: 약물 재창출 사례

Assessing LLMs for Serendipity Discovery in Knowledge Graphs: A Case for Drug Repurposing

초록

Support