전략을 측정하는가, 표현을 측정하는가? LLM 수학 추론에서 표면 수준 다양성과 접근 방식 수준 다양성 간의 격차

초록

LLM의 수학적 추론에서 다양성은 탐색에 중요하지만, 일반적인 다양성 지표는 대부분 문제 해결 방식의 차이보다는 표면적 변이만을 포착한다. 우리는 접근 수준의 다양성, 즉 동일한 문제에 대한 올바른 해결책들 간의 전략 변이를 도입함으로써 이러한 간극을 해결한다. 인간 조정된 LLM 판별 프레임워크를 사용하여, 우리는 기존의 다양성 측정 방법이 접근 수준의 다양성에 대한 신뢰할 수 없는 대리 지표임을 보여주며, 이러한 불일치는 다양성 인식 RLVR로 이어져 대상 지표는 유지되지만 접근 수준의 다양성은 감소한다. 접근 수준의 다양성이 언제 도움이 되고 직접 유도될 수 있는지 조사한 결과, 접근 다양성이 있는 후보 집합이 테스트 시간 확장을 향상시킨다는 것을 발견한다. 그러나 훈련 중 LLM 판별 다양성 보상을 최적화하면 정책이 접근 방식을 확장하기보다는 판별 특정 선호도를 악용하게 되어, 접근 수준의 다양성의 직접 최적화는 여전히 해결되지 않은 과제로 남는다. 종합하면, 우리의 연구는 접근 수준의 다양성 개념을 도입하고 표면 수준 신호와 접근 수준 신호 간의 체계적 차이를 밝혀내어, 진정으로 다양하고 인간과 유사한 방식으로 추론하는 LLM을 향한 한 걸음을 내딛는다.

English

Diversity in LLM mathematical reasoning is critical for exploration, but common diversity metrics mostly capture surface-level variation rather than differences in how a problem is solved. We address this gap by introducing approach-level diversity: variation in strategies across correct solutions to the same problem. Using a human-calibrated LLM judge framework, we show that prior diversity measures are unreliable proxies for approach-level diversity, and this mismatch carries over to diversity-aware RLVR, where target metrics are preserved while approach-level diversity declines. Investigating when approach-level diversity helps and whether it can be directly induced, we find that approach-diverse candidate sets improve test-time scaling. However, optimizing an LLM judge diversity reward during training causes the policy to exploit judge-specific preferences rather than broaden its approaches, leaving direct optimization of approach-level diversity as an open problem. Together, our work introduces the notion of approach-level diversity and uncovers a systematic divergence between surface- and approach-level signals, marking a step toward LLMs that reason in genuinely diverse, human-like ways.