m1 : Libérez le potentiel de la mise à l'échelle au moment du test pour le raisonnement médical avec les grands modèles de langage

m1: Unleash the Potential of Test-Time Scaling for Medical Reasoning with Large Language Models

April 1, 2025

Auteurs: Xiaoke Huang, Juncheng Wu, Hui Liu, Xianfeng Tang, Yuyin Zhou

cs.AI

Résumé

Le scaling au moment du test est apparu comme une technique puissante pour améliorer les capacités de raisonnement des grands modèles de langage. Cependant, son efficacité dans le raisonnement médical reste incertaine, car le domaine médical diffère fondamentalement des tâches mathématiques en termes de représentation des connaissances et de processus de prise de décision. Dans cet article, nous proposons la première investigation complète du scaling au moment du test pour le raisonnement médical et présentons m1, une approche simple mais efficace qui augmente la capacité de raisonnement médical d'un modèle lors de l'inférence. Notre évaluation sur diverses tâches médicales démontre que le scaling au moment du test améliore systématiquement le raisonnement médical, permettant à des modèles légers affinés de moins de 10 milliards de paramètres d'établir de nouvelles performances de pointe, tandis que notre modèle de 32 milliards rivalise avec les précédents modèles de langage médicaux à 70 milliards de paramètres. Cependant, nous identifions un budget optimal de tokens de raisonnement d'environ 4 000, au-delà duquel les performances peuvent se dégrader en raison d'une suranalyse. Le forçage de budget, qui étend le calcul au moment du test via des invites itératives, aide les modèles à revérifier les réponses mais n'améliore pas nécessairement la performance globale en question-réponse médicale et, dans certains cas, introduit même des erreurs dans des réponses précédemment correctes. Notre analyse au cas par cas identifie un manque de connaissances médicales comme un goulot d'étranglement clé qui empêche des gains de performance supplémentaires via le scaling au moment du test. Nous constatons qu'augmenter l'échelle des données, améliorer la qualité des données et étendre la capacité des modèles améliore systématiquement l'ancrage des connaissances médicales, permettant des améliorations continues des performances, en particulier sur des benchmarks médicaux difficiles où les modèles plus petits atteignent la saturation. Ces résultats soulignent les différences fondamentales entre le raisonnement médical et mathématique dans les modèles de langage, mettant en évidence qu'un enrichissement des connaissances médicales, plutôt qu'une simple augmentation de la profondeur de raisonnement, est essentiel pour réaliser les bénéfices du scaling au moment du test.

English

Test-time scaling has emerged as a powerful technique for enhancing the reasoning capabilities of large language models. However, its effectiveness in medical reasoning remains uncertain, as the medical domain fundamentally differs from mathematical tasks in terms of knowledge representation and decision-making processes. In this paper, we provide the first comprehensive investigation of test-time scaling for medical reasoning and present m1, a simple yet effective approach that increases a model's medical reasoning capability at inference. Our evaluation across diverse medical tasks demonstrates that test-time scaling consistently enhances medical reasoning, enabling lightweight fine-tuned models under 10B parameters to establish new state-of-the-art performance, while our 32B model rivals previous 70B-scale medical LLMs. However, we identify an optimal reasoning token budget of approximately 4K, beyond which performance may degrade due to overthinking. Budget forcing, which extends test-time computation through iterative prompts, helps models double-check answers but does not necessarily improve the overall medical QA performance and, in some cases, even introduces errors into previously correct responses. Our case-by-case analysis identifies insufficient medical knowledge as a key bottleneck that prevents further performance gains through test-time scaling. We find that increasing data scale, improving data quality, and expanding model capacity consistently enhance medical knowledge grounding, enabling continued performance improvements, particularly on challenging medical benchmarks where smaller models reach saturation. These findings underscore fundamental differences between medical and mathematical reasoning in LLMs, highlighting that enriched medical knowledge, other than increased reasoning depth alone, is essential for realizing the benefits of test-time scaling.