m1: Ontketen het potentieel van test-time scaling voor medisch redeneren met grote taalmodellen

m1: Unleash the Potential of Test-Time Scaling for Medical Reasoning with Large Language Models

April 1, 2025

Auteurs: Xiaoke Huang, Juncheng Wu, Hui Liu, Xianfeng Tang, Yuyin Zhou

cs.AI

Samenvatting

Test-time scaling is naar voren gekomen als een krachtige techniek om de redeneervaardigheden van grote taalmodellen te verbeteren. De effectiviteit ervan in medisch redeneren blijft echter onzeker, aangezien het medische domein fundamenteel verschilt van wiskundige taken wat betreft kennisrepresentatie en besluitvormingsprocessen. In dit artikel bieden we het eerste uitgebreide onderzoek naar test-time scaling voor medisch redeneren en presenteren we m1, een eenvoudige maar effectieve aanpak die het medisch redeneervermogen van een model tijdens inferentie vergroot. Onze evaluatie over diverse medische taken toont aan dat test-time scaling consistent het medisch redeneren verbetert, waardoor lichtgewicht fijn afgestemde modellen met minder dan 10B parameters nieuwe state-of-the-art prestaties kunnen bereiken, terwijl ons 32B-model wedijvert met eerdere medische LLMs van 70B-schaal. We identificeren echter een optimaal redeneertokenbudget van ongeveer 4K, waarboven de prestaties kunnen verslechteren door overdenken. Budget forcing, dat de test-time berekening uitbreidt via iteratieve prompts, helpt modellen om antwoorden dubbel te controleren, maar verbetert niet noodzakelijk de algehele prestaties van medische vraag-antwoordtaken en introduceert in sommige gevallen zelfs fouten in eerder correcte antwoorden. Onze case-by-case analyse identificeert onvoldoende medische kennis als een belangrijk knelpunt dat verdere prestatieverbeteringen via test-time scaling belemmert. We constateren dat het vergroten van de dataschaal, het verbeteren van de datakwaliteit en het uitbreiden van de modelcapaciteit consistent de verankering van medische kennis verbeteren, waardoor voortdurende prestatieverbeteringen mogelijk zijn, met name op uitdagende medische benchmarks waar kleinere modellen verzadiging bereiken. Deze bevindingen onderstrepen fundamentele verschillen tussen medisch en wiskundig redeneren in LLMs, en benadrukken dat verrijkte medische kennis, naast alleen een grotere redeneerdiepte, essentieel is om de voordelen van test-time scaling te realiseren.

English

Test-time scaling has emerged as a powerful technique for enhancing the reasoning capabilities of large language models. However, its effectiveness in medical reasoning remains uncertain, as the medical domain fundamentally differs from mathematical tasks in terms of knowledge representation and decision-making processes. In this paper, we provide the first comprehensive investigation of test-time scaling for medical reasoning and present m1, a simple yet effective approach that increases a model's medical reasoning capability at inference. Our evaluation across diverse medical tasks demonstrates that test-time scaling consistently enhances medical reasoning, enabling lightweight fine-tuned models under 10B parameters to establish new state-of-the-art performance, while our 32B model rivals previous 70B-scale medical LLMs. However, we identify an optimal reasoning token budget of approximately 4K, beyond which performance may degrade due to overthinking. Budget forcing, which extends test-time computation through iterative prompts, helps models double-check answers but does not necessarily improve the overall medical QA performance and, in some cases, even introduces errors into previously correct responses. Our case-by-case analysis identifies insufficient medical knowledge as a key bottleneck that prevents further performance gains through test-time scaling. We find that increasing data scale, improving data quality, and expanding model capacity consistently enhance medical knowledge grounding, enabling continued performance improvements, particularly on challenging medical benchmarks where smaller models reach saturation. These findings underscore fundamental differences between medical and mathematical reasoning in LLMs, highlighting that enriched medical knowledge, other than increased reasoning depth alone, is essential for realizing the benefits of test-time scaling.