문서 간 불일치: 검색 증강 언어 모델을 활용한 이식 지침의 기관별 차이 측정

When Documents Disagree: Measuring Institutional Variation in Transplant Guidance with Retrieval-Augmented Language Models

March 23, 2026

저자: Yubo Li, Ramayya Krishnan, Rema Padman

cs.AI

초록

미국 내 장기 이식 환자 교육 자료는 기관별로 상당한 차이를 보이지만, 이러한 이질성을 대규모로 정량화하는 체계적인 방법은 부재하다. 본 연구에서는 검색 증강 언어 모델을 활용하여 동일한 환자 질문을 각 기관의 핸드북에 기반하여 답변 생성하고, 5단계 일관성 분류 체계를 통해 결과를 비교하는 프레임워크를 제안한다. 23개 기관의 102종 핸드북과 1,115개 벤치마크 질문을 적용한 결과, 이 프레임워크는 질문, 주제, 장기, 기관 네 가지 차원에서의 이질성을 정량화했다. 분석 결과, 결측치를 제외한 쌍별 비교의 20.8%에서 임상적으로 의미 있는 차이가 나타났으며, 이는 특히 상태 모니터링과 생활습관 관련 주제에서 집중되었다. 내용 Coverage 격차는 더욱 두드러졌는데, 질문-핸드북 쌍의 96.2%에서 관련 내용이 누락되었으며, 생식 건강 영역은 95.1%의 결측률을 보였다. 기관 수준의 차이 프로파일은 안정적이고 해석 가능하였으며, 이러한 이질성은 환자 다양성에 기인한 체계적인 기관별 차이를 반영하는 것으로 나타났다. 이러한 결과는 장기 이식 환자 교육 자료의 정보 격차를 드러내며, 문서 기반 의료 질의응답 시스템이 콘텐츠 개선을 위한 실질적인 기회를 제시함을 시사한다.

English

Patient education materials for solid-organ transplantation vary substantially across U.S. centers, yet no systematic method exists to quantify this heterogeneity at scale. We introduce a framework that grounds the same patient questions in different centers' handbooks using retrieval-augmented language models and compares the resulting answers using a five-label consistency taxonomy. Applied to 102 handbooks from 23 centers and 1,115 benchmark questions, the framework quantifies heterogeneity across four dimensions: question, topic, organ, and center. We find that 20.8% of non-absent pairwise comparisons exhibit clinically meaningful divergence, concentrated in condition monitoring and lifestyle topics. Coverage gaps are even more prominent: 96.2% of question-handbook pairs miss relevant content, with reproductive health at 95.1% absence. Center-level divergence profiles are stable and interpretable, where heterogeneity reflects systematic institutional differences, likely due to patient diversity. These findings expose an information gap in transplant patient education materials, with document-grounded medical question answering highlighting opportunities for content improvement.