Baichuan-M2: Skalierung medizinischer Fähigkeiten mit einem großen Verifikationssystem

papers.abstract

Mit dem Fortschritt großer Sprachmodelle (LLMs) in Bezug auf Konversations- und Denkfähigkeiten ist ihre praktische Anwendung im Gesundheitswesen zu einem zentralen Forschungsschwerpunkt geworden. Es besteht jedoch eine deutliche Lücke zwischen der Leistung medizinischer LLMs in statischen Benchmarks wie dem USMLE und ihrem Nutzen in der klinischen Entscheidungsfindung in der Praxis. Diese Diskrepanz entsteht, weil traditionelle Prüfungen die dynamische, interaktive Natur medizinischer Konsultationen nicht erfassen. Um diese Herausforderung zu bewältigen, führen wir ein neuartiges dynamisches Verifikationsframework ein, das über statische Antwortprüfer hinausgeht und ein groß angelegtes, hochpräzises interaktives Reinforcement-Learning-System etabliert. Unser Framework besteht aus zwei Schlüsselkomponenten: einem Patientensimulator, der realistische klinische Umgebungen anhand anonymisierter medizinischer Aufzeichnungen erzeugt, und einem klinischen Bewertungsrastergenerator, der dynamisch mehrdimensionale Bewertungsmetriken erstellt. Auf dieser Grundlage entwickeln wir Baichuan-M2, ein medizinisches augmentiertes Denkmodell mit 32 Milliarden Parametern, das durch eine mehrstufige Reinforcement-Learning-Strategie mit einem verbesserten Group Relative Policy Optimization (GRPO)-Algorithmus trainiert wurde. Auf HealthBench evaluiert, übertrifft Baichuan-M2 alle anderen Open-Source-Modelle und die meisten fortschrittlichen Closed-Source-Modelle und erreicht eine Punktzahl von über 32 im anspruchsvollen HealthBench Hard-Benchmark – ein Wert, der zuvor nur von GPT-5 übertroffen wurde. Unsere Arbeit zeigt, dass robuste dynamische Verifikationssysteme entscheidend sind, um die Fähigkeiten von LLMs mit praktischen klinischen Anwendungen in Einklang zu bringen, und etabliert eine neue Pareto-Front im Leistungs-Parameter-Trade-Off für den Einsatz medizinischer KI.

English

As large language models (LLMs) advance in conversational and reasoning capabilities, their practical application in healthcare has become a critical research focus. However, there is a notable gap between the performance of medical LLMs on static benchmarks such as USMLE and their utility in real-world clinical decision-making. This discrepancy arises because traditional exams fail to capture the dynamic, interactive nature of medical consultations. To address this challenge, we introduce a novel dynamic verification framework that moves beyond static answer verifier, establishing a large-scale, high-fidelity interactive reinforcement learning system. Our framework comprises two key components: a Patient Simulator that creates realistic clinical environments using de-identified medical records, and a Clinical Rubrics Generator that dynamically produces multi-dimensional evaluation metrics. Building on this foundation, we develop Baichuan-M2, a 32B-parameter medical augmented reasoning model trained through a multi-stage reinforcement learning strategy with an improved Group Relative Policy Optimization (GRPO) algorithm. Evaluated on HealthBench, Baichuan-M2 outperforms all other open-source models and most advanced closed-source counterparts, achieving a score above 32 on the challenging HealthBench Hard benchmark-previously exceeded only by GPT-5. Our work demonstrates that robust dynamic verifier system is essential for aligning LLM capabilities with practical clinical applications, establishing a new Pareto front in the performance-parameter trade-off for medical AI deployment.

Baichuan-M2: Skalierung medizinischer Fähigkeiten mit einem großen Verifikationssystem

Baichuan-M2: Scaling Medical Capability with Large Verifier System

papers.abstract

Support