m1: Libere o Potencial do Escalonamento em Tempo de Teste para Raciocínio Médico com Modelos de Linguagem de Grande Escala

m1: Unleash the Potential of Test-Time Scaling for Medical Reasoning with Large Language Models

April 1, 2025

Autores: Xiaoke Huang, Juncheng Wu, Hui Liu, Xianfeng Tang, Yuyin Zhou

cs.AI

Resumo

O escalonamento em tempo de teste surgiu como uma técnica poderosa para aprimorar as capacidades de raciocínio de modelos de linguagem de grande escala. No entanto, sua eficácia no raciocínio médico permanece incerta, uma vez que o domínio médico difere fundamentalmente das tarefas matemáticas em termos de representação de conhecimento e processos de tomada de decisão. Neste artigo, fornecemos a primeira investigação abrangente do escalonamento em tempo de teste para o raciocínio médico e apresentamos m1, uma abordagem simples, porém eficaz, que aumenta a capacidade de raciocínio médico de um modelo durante a inferência. Nossa avaliação em diversas tarefas médicas demonstra que o escalonamento em tempo de teste melhora consistentemente o raciocínio médico, permitindo que modelos levemente ajustados com menos de 10 bilhões de parâmetros estabeleçam novos recordes de desempenho de última geração, enquanto nosso modelo de 32 bilhões rivaliza com modelos médicos de linguagem de grande escala anteriores de 70 bilhões. No entanto, identificamos um orçamento ideal de tokens de raciocínio de aproximadamente 4 mil, além do qual o desempenho pode se degradar devido ao excesso de pensamento. O forçamento de orçamento, que estende a computação em tempo de teste por meio de prompts iterativos, ajuda os modelos a verificarem as respostas, mas não necessariamente melhora o desempenho geral em perguntas e respostas médicas e, em alguns casos, até introduz erros em respostas previamente corretas. Nossa análise caso a caso identifica o conhecimento médico insuficiente como um gargalo chave que impede ganhos adicionais de desempenho por meio do escalonamento em tempo de teste. Descobrimos que aumentar a escala dos dados, melhorar a qualidade dos dados e expandir a capacidade do modelo aprimoram consistentemente o embasamento do conhecimento médico, permitindo melhorias contínuas de desempenho, particularmente em benchmarks médicos desafiadores onde modelos menores atingem a saturação. Esses achados destacam diferenças fundamentais entre o raciocínio médico e matemático em modelos de linguagem de grande escala, enfatizando que o enriquecimento do conhecimento médico, além do aumento da profundidade de raciocínio por si só, é essencial para realizar os benefícios do escalonamento em tempo de teste.

English

Test-time scaling has emerged as a powerful technique for enhancing the reasoning capabilities of large language models. However, its effectiveness in medical reasoning remains uncertain, as the medical domain fundamentally differs from mathematical tasks in terms of knowledge representation and decision-making processes. In this paper, we provide the first comprehensive investigation of test-time scaling for medical reasoning and present m1, a simple yet effective approach that increases a model's medical reasoning capability at inference. Our evaluation across diverse medical tasks demonstrates that test-time scaling consistently enhances medical reasoning, enabling lightweight fine-tuned models under 10B parameters to establish new state-of-the-art performance, while our 32B model rivals previous 70B-scale medical LLMs. However, we identify an optimal reasoning token budget of approximately 4K, beyond which performance may degrade due to overthinking. Budget forcing, which extends test-time computation through iterative prompts, helps models double-check answers but does not necessarily improve the overall medical QA performance and, in some cases, even introduces errors into previously correct responses. Our case-by-case analysis identifies insufficient medical knowledge as a key bottleneck that prevents further performance gains through test-time scaling. We find that increasing data scale, improving data quality, and expanding model capacity consistently enhance medical knowledge grounding, enabling continued performance improvements, particularly on challenging medical benchmarks where smaller models reach saturation. These findings underscore fundamental differences between medical and mathematical reasoning in LLMs, highlighting that enriched medical knowledge, other than increased reasoning depth alone, is essential for realizing the benefits of test-time scaling.