ClinAlign: 임상의 선호도에 기반한 의료 정렬 확장

초록

대규모 언어 모델(LLM)이 전문가 수준의 의학 지식을 보여주지만, 개방형 출력을 임상의의 세분화된 선호도와 일치시키는 것은 여전히 어려운 과제입니다. 기존 방법은 대체로 전문 가이드라인에 기반이 약한 거시적 목표나 신뢰할 수 없는 자동 평가 기준에 의존합니다. 우리는 이러한 격차를 해결하기 위해 두 단계 프레임워크를 제안합니다. 첫째, 임상의가 LLM이 초안을 작성한 평가 기준을 엄격한 의학 표준에 부합하도록 개선한 7,034개의 의사 검증 선호도 예시 데이터셋인 HealthRubrics를 소개합니다. 둘째, 이러한 평가 기준을 HealthPrinciples로 정제합니다. 이는 임상 차원별로 구성된 119개의 광범위하게 재사용 가능하며 임상적으로 근거 있는 원칙으로, 수동 주석 이상의 확장 가능한 감독을 가능하게 합니다. 우리는 HealthPrinciples를 (1) 레이블이 지정되지 않은 쿼리에 대한 평가 기준 합성을 통한 오프라인 정렬과 (2) 유도된 자기 수정을 위한 추론 시점 도구로 활용합니다. 우리의 프레임워크로 훈련되고 추론 시 3B 매개변수만 활성화하는 30B 매개변수 모델은 HealthBench-Hard에서 33.4%를 달성하여 Deepseek-R1 및 o3를 포함한 훨씬 더 큰 모델들을 능가하며, 임상 정렬을 위한 자원 효율적인 기준선을 확립했습니다.

English

Although large language models (LLMs) demonstrate expert-level medical knowledge, aligning their open-ended outputs with fine-grained clinician preferences remains challenging. Existing methods often rely on coarse objectives or unreliable automated judges that are weakly grounded in professional guidelines. We propose a two-stage framework to address this gap. First, we introduce HealthRubrics, a dataset of 7,034 physician-verified preference examples in which clinicians refine LLM-drafted rubrics to meet rigorous medical standards. Second, we distill these rubrics into HealthPrinciples: 119 broadly reusable, clinically grounded principles organized by clinical dimensions, enabling scalable supervision beyond manual annotation. We use HealthPrinciples for (1) offline alignment by synthesizing rubrics for unlabeled queries and (2) an inference-time tool for guided self-revision. A 30B parameter model that activates only 3B parameters at inference trained with our framework achieves 33.4% on HealthBench-Hard, outperforming much larger models including Deepseek-R1 and o3, establishing a resource-efficient baseline for clinical alignment.

ClinAlign: 임상의 선호도에 기반한 의료 정렬 확장

ClinAlign: Scaling Healthcare Alignment from Clinician Preference

초록

Support