Может ли 1 миллиардный языковой модельный (1B LLM) превзойти 405 миллиардный языковой модельный (405B LLM)? Переосмысление масштабирования вычислений в оптимальное время тестирования.Can 1B LLM Surpass 405B LLM? Rethinking Compute-Optimal Test-Time
Scaling
Масштабирование времени тестирования (Test-Time Scaling, TTS) является важным методом для улучшения производительности Больших Языковых Моделей (Large Language Models, LLMs) путем использования дополнительных вычислений во время фазы вывода. Однако текущие исследования не систематически анализируют, как модели политики, модели вознаграждения процесса (Process Reward Models, PRMs) и сложность задачи влияют на TTS. Этот недостаток анализа ограничивает понимание и практическое применение методов TTS. В данной статье мы сосредотачиваемся на двух основных вопросах: (1) Какой оптимальный подход к масштабированию вычислений времени тестирования для различных моделей политики, PRMs и уровней сложности задачи? (2) Насколько дополнительные вычисления могут улучшить производительность LLMs на сложных задачах, и могут ли более маленькие языковые модели превзойти более крупные через этот подход? Проведя комплексные эксперименты на задачах MATH-500 и сложных задачах AIME24, мы пришли к следующим наблюдениям: (1) Оптимальная стратегия вычислений TTS сильно зависит от выбора модели политики, PRM и сложности задачи. (2) С нашей оптимальной стратегией вычислений TTS крайне маленькие модели политики могут превзойти более крупные модели. Например, 1B LLM может превзойти 405B LLM на задаче MATH-500. Более того, как на задаче MATH-500, так и на AIME24, 0.5B LLM превосходит GPT-4o, 3B LLM превосходит 405B LLM, а 7B LLM обгоняет o1 и DeepSeek-R1, обладая более высокой эффективностью вывода. Эти результаты показывают важность адаптации стратегий TTS к конкретным характеристикам каждой задачи и модели, а также указывают на то, что TTS является многообещающим подходом для улучшения рассуждений LLMs.