m1: Entfesseln Sie das Potenzial von Test-Time-Scaling für medizinisches Denken mit großen Sprachmodellen

m1: Unleash the Potential of Test-Time Scaling for Medical Reasoning with Large Language Models

April 1, 2025

Autoren: Xiaoke Huang, Juncheng Wu, Hui Liu, Xianfeng Tang, Yuyin Zhou

cs.AI

Zusammenfassung

Test-Time Scaling hat sich als leistungsstarke Technik zur Verbesserung der Fähigkeiten großer Sprachmodelle im Bereich des logischen Denkens erwiesen. Seine Wirksamkeit im medizinischen Denken bleibt jedoch ungewiss, da sich der medizinische Bereich grundlegend von mathematischen Aufgaben in Bezug auf Wissensrepräsentation und Entscheidungsprozesse unterscheidet. In diesem Artikel liefern wir die erste umfassende Untersuchung von Test-Time Scaling für medizinisches Denken und stellen m1 vor, einen einfachen, aber effektiven Ansatz, der die medizinische Denkfähigkeit eines Modells während der Inferenz steigert. Unsere Bewertung über verschiedene medizinische Aufgaben hinweg zeigt, dass Test-Time Scaling das medizinische Denken konsequent verbessert und es feinabgestimmten Modellen mit weniger als 10B Parametern ermöglicht, neue State-of-the-Art-Leistungen zu erzielen, während unser 32B-Modell mit früheren medizinischen LLMs im 70B-Maßstab konkurriert. Allerdings identifizieren wir ein optimales Budget für Denk-Tokens von etwa 4K, jenseits dessen die Leistung aufgrund von „Überdenken“ abnehmen kann. Budget Forcing, das die Test-Time-Berechnung durch iterative Prompts erweitert, hilft Modellen, Antworten zu überprüfen, verbessert jedoch nicht zwangsläufig die Gesamtleistung bei medizinischen Fragen und führt in einigen Fällen sogar Fehler in zuvor korrekte Antworten ein. Unsere Fall-für-Fall-Analyse identifiziert unzureichendes medizinisches Wissen als einen zentralen Engpass, der weitere Leistungssteigerungen durch Test-Time Scaling verhindert. Wir stellen fest, dass die Erhöhung der Datenmenge, die Verbesserung der Datenqualität und die Erweiterung der Modellkapazität die Verankerung medizinischen Wissens konsequent verbessern und damit kontinuierliche Leistungssteigerungen ermöglichen, insbesondere bei anspruchsvollen medizinischen Benchmarks, bei denen kleinere Modelle an ihre Grenzen stoßen. Diese Erkenntnisse unterstreichen grundlegende Unterschiede zwischen medizinischem und mathematischem Denken in LLMs und zeigen, dass angereichertes medizinisches Wissen, mehr als nur eine erhöhte Denktiefe, entscheidend ist, um die Vorteile von Test-Time Scaling zu realisieren.

English

Test-time scaling has emerged as a powerful technique for enhancing the reasoning capabilities of large language models. However, its effectiveness in medical reasoning remains uncertain, as the medical domain fundamentally differs from mathematical tasks in terms of knowledge representation and decision-making processes. In this paper, we provide the first comprehensive investigation of test-time scaling for medical reasoning and present m1, a simple yet effective approach that increases a model's medical reasoning capability at inference. Our evaluation across diverse medical tasks demonstrates that test-time scaling consistently enhances medical reasoning, enabling lightweight fine-tuned models under 10B parameters to establish new state-of-the-art performance, while our 32B model rivals previous 70B-scale medical LLMs. However, we identify an optimal reasoning token budget of approximately 4K, beyond which performance may degrade due to overthinking. Budget forcing, which extends test-time computation through iterative prompts, helps models double-check answers but does not necessarily improve the overall medical QA performance and, in some cases, even introduces errors into previously correct responses. Our case-by-case analysis identifies insufficient medical knowledge as a key bottleneck that prevents further performance gains through test-time scaling. We find that increasing data scale, improving data quality, and expanding model capacity consistently enhance medical knowledge grounding, enabling continued performance improvements, particularly on challenging medical benchmarks where smaller models reach saturation. These findings underscore fundamental differences between medical and mathematical reasoning in LLMs, highlighting that enriched medical knowledge, other than increased reasoning depth alone, is essential for realizing the benefits of test-time scaling.