ClinAlign: 医療従事者の嗜好からの医療アラインメントのスケーリング

要旨

大規模言語モデル（LLM）は専門家レベルの医学知識を示すが、その自由記述形式の出力を医療従事者の細かな選好に沿わせることは依然として困難である。既存手法は、専門的ガイドラインに基づきにくい大まかな目的関数や信頼性の低い自動評価器に依存することが多い。本研究ではこの課題を解決するため、2段階のフレームワークを提案する。第一に、臨床医がLLMが作成したルーブリックを厳密な医療基準に合うように精緻化した、医師検証済みの7,034例の選好データセット「HealthRubrics」を構築した。第二に、これらのルーブリックを要約し、臨床的側面ごとに体系化された119の広範に再利用可能な臨床根拠に基づく原則「HealthPrinciples」を生成し、手動注釈を超えたスケーラブルな評価を可能にした。HealthPrinciplesを(1)ラベルなしクエリに対するルーブリック合成によるオフラインアライメントと(2)推論時におけるガイド付き自己修正ツールとして活用する。本フレームワークで学習し、推論時に30Bパラメータのうち3Bパラメータのみを活性化するモデルは、HealthBench-Hardにおいて33.4%を達成し、Deepseek-R1やo3を含むはるかに大規模なモデルを上回り、臨床アライメントにおけるリソース効率の高いベースラインを確立した。

English

Although large language models (LLMs) demonstrate expert-level medical knowledge, aligning their open-ended outputs with fine-grained clinician preferences remains challenging. Existing methods often rely on coarse objectives or unreliable automated judges that are weakly grounded in professional guidelines. We propose a two-stage framework to address this gap. First, we introduce HealthRubrics, a dataset of 7,034 physician-verified preference examples in which clinicians refine LLM-drafted rubrics to meet rigorous medical standards. Second, we distill these rubrics into HealthPrinciples: 119 broadly reusable, clinically grounded principles organized by clinical dimensions, enabling scalable supervision beyond manual annotation. We use HealthPrinciples for (1) offline alignment by synthesizing rubrics for unlabeled queries and (2) an inference-time tool for guided self-revision. A 30B parameter model that activates only 3B parameters at inference trained with our framework achieves 33.4% on HealthBench-Hard, outperforming much larger models including Deepseek-R1 and o3, establishing a resource-efficient baseline for clinical alignment.

ClinAlign: 医療従事者の嗜好からの医療アラインメントのスケーリング

ClinAlign: Scaling Healthcare Alignment from Clinician Preference

要旨

Support