m1: Раскрытие потенциала масштабирования во время тестирования для медицинских рассуждений с использованием больших языковых моделей

m1: Unleash the Potential of Test-Time Scaling for Medical Reasoning with Large Language Models

April 1, 2025

Авторы: Xiaoke Huang, Juncheng Wu, Hui Liu, Xianfeng Tang, Yuyin Zhou

cs.AI

Аннотация

Масштабирование во время тестирования стало мощной техникой для улучшения способностей крупных языковых моделей к рассуждению. Однако его эффективность в медицинских рассуждениях остается неопределенной, поскольку медицинская область принципиально отличается от математических задач с точки зрения представления знаний и процессов принятия решений. В данной статье мы представляем первое всестороннее исследование масштабирования во время тестирования для медицинских рассуждений и предлагаем m1 — простой, но эффективный подход, который повышает способность модели к медицинским рассуждениям на этапе вывода. Наша оценка на разнообразных медицинских задачах показывает, что масштабирование во время тестирования последовательно улучшает медицинские рассуждения, позволяя легковесным дообученным моделям с менее чем 10 миллиардами параметров устанавливать новые рекорды производительности, в то время как наша 32-миллиардная модель конкурирует с предыдущими медицинскими языковыми моделями масштаба 70 миллиардов. Однако мы выявили оптимальный бюджет токенов для рассуждений, составляющий примерно 4 тысячи, за пределами которого производительность может снижаться из-за "переобдумывания". Принудительное увеличение бюджета, которое расширяет вычисления во время тестирования через итеративные запросы, помогает моделям перепроверять ответы, но не обязательно улучшает общую производительность в медицинских вопросах и ответах, а в некоторых случаях даже вносит ошибки в ранее правильные ответы. Наш пошаговый анализ выявляет недостаточные медицинские знания как ключевое узкое место, препятствующее дальнейшему улучшению производительности через масштабирование во время тестирования. Мы обнаруживаем, что увеличение масштаба данных, улучшение их качества и расширение емкости модели последовательно усиливают закрепление медицинских знаний, позволяя продолжать улучшение производительности, особенно на сложных медицинских тестах, где меньшие модели достигают насыщения. Эти результаты подчеркивают фундаментальные различия между медицинскими и математическими рассуждениями в языковых моделях, указывая на то, что обогащение медицинских знаний, а не только увеличение глубины рассуждений, является ключевым для реализации преимуществ масштабирования во время тестирования.

English

Test-time scaling has emerged as a powerful technique for enhancing the reasoning capabilities of large language models. However, its effectiveness in medical reasoning remains uncertain, as the medical domain fundamentally differs from mathematical tasks in terms of knowledge representation and decision-making processes. In this paper, we provide the first comprehensive investigation of test-time scaling for medical reasoning and present m1, a simple yet effective approach that increases a model's medical reasoning capability at inference. Our evaluation across diverse medical tasks demonstrates that test-time scaling consistently enhances medical reasoning, enabling lightweight fine-tuned models under 10B parameters to establish new state-of-the-art performance, while our 32B model rivals previous 70B-scale medical LLMs. However, we identify an optimal reasoning token budget of approximately 4K, beyond which performance may degrade due to overthinking. Budget forcing, which extends test-time computation through iterative prompts, helps models double-check answers but does not necessarily improve the overall medical QA performance and, in some cases, even introduces errors into previously correct responses. Our case-by-case analysis identifies insufficient medical knowledge as a key bottleneck that prevents further performance gains through test-time scaling. We find that increasing data scale, improving data quality, and expanding model capacity consistently enhance medical knowledge grounding, enabling continued performance improvements, particularly on challenging medical benchmarks where smaller models reach saturation. These findings underscore fundamental differences between medical and mathematical reasoning in LLMs, highlighting that enriched medical knowledge, other than increased reasoning depth alone, is essential for realizing the benefits of test-time scaling.