Измеряем ли мы стратегию или формулировку? Разрыв между поверхностным разнообразием и разнообразием подходов в математических рассуждениях LLM

Аннотация

Разнообразие в математических рассуждениях больших языковых моделей (LLM) имеет решающее значение для исследования, однако распространённые метрики разнообразия в основном отражают поверхностные вариации, а не различия в способах решения задачи. Мы восполняем этот пробел, вводя понятие разнообразия на уровне подходов: вариативность стратегий в рамках корректных решений одной и той же задачи. Используя откалиброванную человеком модель LLM-судьи, мы показываем, что существующие меры разнообразия являются ненадёжными прокси для разнообразия на уровне подходов, и это несоответствие переносится на RLVR (обучение с подкреплением на основе проверки вознаграждения), учитывающее разнообразие: целевые метрики сохраняются, тогда как разнообразие на уровне подходов снижается. Исследуя, когда разнообразие подходов полезно и можно ли его напрямую индуцировать, мы обнаруживаем, что наборы кандидатов с разнообразием подходов улучшают масштабирование во время тестирования. Однако оптимизация вознаграждения за разнообразие, вычисляемого LLM-судьёй, в процессе обучения приводит к тому, что политика использует специфические предпочтения судьи, а не расширяет собственные подходы, что оставляет прямую оптимизацию разнообразия на уровне подходов открытой проблемой. В совокупности наша работа вводит понятие разнообразия на уровне подходов и выявляет систематическое расхождение между сигналами поверхностного уровня и уровня подходов, что становится шагом к созданию LLM, способных рассуждать по-настоящему разнообразными, подобными человеческим способами.

English

Diversity in LLM mathematical reasoning is critical for exploration, but common diversity metrics mostly capture surface-level variation rather than differences in how a problem is solved. We address this gap by introducing approach-level diversity: variation in strategies across correct solutions to the same problem. Using a human-calibrated LLM judge framework, we show that prior diversity measures are unreliable proxies for approach-level diversity, and this mismatch carries over to diversity-aware RLVR, where target metrics are preserved while approach-level diversity declines. Investigating when approach-level diversity helps and whether it can be directly induced, we find that approach-diverse candidate sets improve test-time scaling. However, optimizing an LLM judge diversity reward during training causes the policy to exploit judge-specific preferences rather than broaden its approaches, leaving direct optimization of approach-level diversity as an open problem. Together, our work introduces the notion of approach-level diversity and uncovers a systematic divergence between surface- and approach-level signals, marking a step toward LLMs that reason in genuinely diverse, human-like ways.