Baichuan-M2: Schaalvergroting van medische capaciteiten met een groot verificatiesysteem

Baichuan-M2: Scaling Medical Capability with Large Verifier System

September 2, 2025

Auteurs: Baichuan-M2 Team, Chengfeng Dou, Chong Liu, Fan Yang, Fei Li, Jiyuan Jia, Mingyang Chen, Qiang Ju, Shuai Wang, Shunya Dang, Tianpeng Li, Xiangrong Zeng, Yijie Zhou, Chenzheng Zhu, Da Pan, Fei Deng, Guangwei Ai, Guosheng Dong, Hongda Zhang, Jinyang Tai, Jixiang Hong, Kai Lu, Linzhuang Sun, Peidong Guo, Qian Ma, Rihui Xin, Shihui Yang, Shusen Zhang, Yichuan Mo, Zheng Liang, Zhishou Zhang, Hengfu Cui, Zuyi Zhu, Xiaochuan Wang

cs.AI

Samenvatting

Naarmate grote taalmodellen (LLMs) vooruitgang boeken in conversatie- en redeneervaardigheden, is hun praktische toepassing in de gezondheidszorg een cruciaal onderzoeksgebied geworden. Er bestaat echter een opvallende kloof tussen de prestaties van medische LLMs op statische benchmarks zoals de USMLE en hun bruikbaarheid in real-world klinische besluitvorming. Deze discrepantie ontstaat omdat traditionele examens het dynamische, interactieve karakter van medische consultaties niet vastleggen. Om deze uitdaging aan te pakken, introduceren we een nieuw dynamisch verificatiekader dat verder gaat dan een statische antwoordverifier, en een grootschalig, hoogwaardig interactief reinforcement learning-systeem opzet. Ons kader bestaat uit twee belangrijke componenten: een Patiëntsimulator die realistische klinische omgevingen creëert met behulp van geanonimiseerde medische dossiers, en een Klinische Rubrics Generator die dynamisch multidimensionale evaluatiemetrics produceert. Op deze basis ontwikkelen we Baichuan-M2, een medisch augmented reasoning-model met 32B parameters, getraind via een meerfasige reinforcement learning-strategie met een verbeterd Group Relative Policy Optimization (GRPO)-algoritme. Geëvalueerd op HealthBench, presteert Baichuan-M2 beter dan alle andere open-source modellen en de meeste geavanceerde closed-source tegenhangers, met een score boven de 32 op de uitdagende HealthBench Hard benchmark – een prestatie die voorheen alleen door GPT-5 werd overtroffen. Ons werk toont aan dat een robuust dynamisch verificatiesysteem essentieel is om de mogelijkheden van LLMs af te stemmen op praktische klinische toepassingen, en stelt een nieuwe Pareto-front vast in de prestatie-parameter trade-off voor de inzet van medische AI.

English

As large language models (LLMs) advance in conversational and reasoning capabilities, their practical application in healthcare has become a critical research focus. However, there is a notable gap between the performance of medical LLMs on static benchmarks such as USMLE and their utility in real-world clinical decision-making. This discrepancy arises because traditional exams fail to capture the dynamic, interactive nature of medical consultations. To address this challenge, we introduce a novel dynamic verification framework that moves beyond static answer verifier, establishing a large-scale, high-fidelity interactive reinforcement learning system. Our framework comprises two key components: a Patient Simulator that creates realistic clinical environments using de-identified medical records, and a Clinical Rubrics Generator that dynamically produces multi-dimensional evaluation metrics. Building on this foundation, we develop Baichuan-M2, a 32B-parameter medical augmented reasoning model trained through a multi-stage reinforcement learning strategy with an improved Group Relative Policy Optimization (GRPO) algorithm. Evaluated on HealthBench, Baichuan-M2 outperforms all other open-source models and most advanced closed-source counterparts, achieving a score above 32 on the challenging HealthBench Hard benchmark-previously exceeded only by GPT-5. Our work demonstrates that robust dynamic verifier system is essential for aligning LLM capabilities with practical clinical applications, establishing a new Pareto front in the performance-parameter trade-off for medical AI deployment.