T1: Интегрированная самопроверка инструментов для масштабирования вычислений во время тестирования в малых языковых моделях

T1: Tool-integrated Self-verification for Test-time Compute Scaling in Small Language Models

April 7, 2025

Авторы: Minki Kang, Jongwon Jeong, Jaewoong Cho

cs.AI

Аннотация

Недавние исследования показали, что масштабирование вычислительных ресурсов во время тестирования эффективно улучшает производительность небольших языковых моделей (sLMs). Однако предыдущие работы в основном изучали масштабирование вычислительных ресурсов с использованием дополнительной более крупной модели в качестве верификатора, оставляя вопрос самопроверки sLMs недостаточно исследованным. В данной работе мы исследуем, могут ли sLMs надежно проверять свои выходные данные при масштабировании во время тестирования. Мы обнаруживаем, что даже с использованием дистилляции знаний от более крупных верификаторов, sLMs испытывают трудности с задачами проверки, требующими запоминания, такими как численные расчеты и проверка фактов. Чтобы устранить это ограничение, мы предлагаем метод самопроверки с интеграцией инструментов (T1), который делегирует этапы проверки, требующие значительного запоминания, внешним инструментам, таким как интерпретатор кода. Наш теоретический анализ показывает, что интеграция инструментов снижает требования к запоминанию и улучшает производительность при масштабировании во время тестирования. Эксперименты на бенчмарке MATH демонстрируют, что с использованием T1 модель Llama-3.2 1B при масштабировании во время тестирования превосходит значительно более крупную модель Llama-3.1 8B. Более того, T1 эффективно обобщается как на математические задачи (MATH500), так и на задачи, требующие знаний из различных областей (MMLU-Pro). Наши результаты подчеркивают потенциал интеграции инструментов для существенного улучшения способностей sLMs к самопроверке.

English

Recent studies have demonstrated that test-time compute scaling effectively improves the performance of small language models (sLMs). However, prior research has mainly examined test-time compute scaling with an additional larger model as a verifier, leaving self-verification by sLMs underexplored. In this work, we investigate whether sLMs can reliably self-verify their outputs under test-time scaling. We find that even with knowledge distillation from larger verifiers, sLMs struggle with verification tasks requiring memorization, such as numerical calculations and fact-checking. To address this limitation, we propose Tool-integrated self-verification (T1), which delegates memorization-heavy verification steps to external tools, such as a code interpreter. Our theoretical analysis shows that tool integration reduces memorization demands and improves test-time scaling performance. Experiments on the MATH benchmark demonstrate that, with T1, a Llama-3.2 1B model under test-time scaling outperforms the significantly larger Llama-3.1 8B model. Moreover, T1 generalizes effectively to both mathematical (MATH500) and multi-domain knowledge-intensive tasks (MMLU-Pro). Our findings highlight the potential of tool integration to substantially improve the self-verification abilities of sLMs.