임상 텍스트-투-SQL에서의 환자 유사도 코호트 추론

초록

실제 진료 환경의 텍스트-to-SQL은 실행 가능한 쿼리 생성을 위해 이기종 EHR 테이블, 시간적 창, 환자 유사도 코호트에 대한 추론이 필요합니다. 우리는 MIMIC-IV v3.1 기반 633개의 전문가 주해 작업으로 구성된 벤치마크인 CLINSQL을 소개합니다. 이는 다중 테이블 조인, 임상적으로 의미 있는 필터, 실행 가능한 SQL을 요구합니다. CLINSQL 해결에는 스키마 메타데이터와 임상 코딩 시스템 탐색, 긴 컨텍스트 처리, 기존 텍스트-to-SQL을 넘어선 다단계 쿼리 구성이 수반됩니다. 우리는 Chain-of-Thought 자기 정련 하에서 22개의 사설 및 오픈소스 모델을 평가하고, 중요한 임상 요구사항을 우선시하는 실행 검사와 함께 루브릭 기반 SQL 분석을 사용합니다. 최근 발전에도 불구하고 성능은 임상 신뢰도에 훨씬 미치지 못합니다: 테스트 세트에서 GPT-5-mini는 74.7% 실행 점수를, DeepSeek-R1은 오픈소스 최고인 69.2%를, Gemini-2.5-Pro는 Easy에서 85.5%에서 Hard에서 67.2%로 하락합니다. CLINSQL의 진전은 실제 EHR 분석을 위한 임상적으로 신뢰할 수 있는 텍스트-to-SQL로의 실질적 발전을 의미합니다.

English

Real-world clinical text-to-SQL requires reasoning over heterogeneous EHR tables, temporal windows, and patient-similarity cohorts to produce executable queries. We introduce CLINSQL, a benchmark of 633 expert-annotated tasks on MIMIC-IV v3.1 that demands multi-table joins, clinically meaningful filters, and executable SQL. Solving CLINSQL entails navigating schema metadata and clinical coding systems, handling long contexts, and composing multi-step queries beyond traditional text-to-SQL. We evaluate 22 proprietary and open-source models under Chain-of-Thought self-refinement and use rubric-based SQL analysis with execution checks that prioritize critical clinical requirements. Despite recent advances, performance remains far from clinical reliability: on the test set, GPT-5-mini attains 74.7% execution score, DeepSeek-R1 leads open-source at 69.2% and Gemini-2.5-Pro drops from 85.5% on Easy to 67.2% on Hard. Progress on CLINSQL marks tangible advances toward clinically reliable text-to-SQL for real-world EHR analytics.

임상 텍스트-투-SQL에서의 환자 유사도 코호트 추론

Patient-Similarity Cohort Reasoning in Clinical Text-to-SQL

초록

Support