Mesurons-nous la stratégie ou la formulation ? Le fossé entre la diversité de surface et la diversité d'approche dans le raisonnement mathématique des LLM

Résumé

La diversité dans le raisonnement mathématique des LLM est essentielle pour l'exploration, mais les métriques de diversité courantes capturent principalement des variations de surface plutôt que des différences dans la manière dont un problème est résolu. Nous comblons cette lacune en introduisant la diversité au niveau des approches : la variation des stratégies parmi les solutions correctes d'un même problème. En utilisant un cadre de jugement LLM calibré par des humains, nous montrons que les mesures de diversité antérieures sont des substituts peu fiables pour la diversité au niveau des approches, et ce décalage se répercute sur le RLVR tenant compte de la diversité, où les métriques cibles sont préservées tandis que la diversité d'approche diminue. En examinant quand la diversité d'approche est utile et si elle peut être induite directement, nous constatons que les ensembles de candidats diversifiés en termes d'approche améliorent le passage à l'échelle en phase de test. Cependant, l'optimisation d'une récompense de diversité basée sur un juge LLM pendant l'entraînement amène la politique à exploiter les préférences spécifiques au juge plutôt qu'à élargir ses approches, laissant l'optimisation directe de la diversité d'approche comme un problème ouvert. Ensemble, nos travaux introduisent la notion de diversité au niveau des approches et mettent en lumière une divergence systématique entre les signaux de surface et ceux d'approche, marquant une avancée vers des LLM qui raisonnent de manière véritablement diverse, à l'image des humains.

English

Diversity in LLM mathematical reasoning is critical for exploration, but common diversity metrics mostly capture surface-level variation rather than differences in how a problem is solved. We address this gap by introducing approach-level diversity: variation in strategies across correct solutions to the same problem. Using a human-calibrated LLM judge framework, we show that prior diversity measures are unreliable proxies for approach-level diversity, and this mismatch carries over to diversity-aware RLVR, where target metrics are preserved while approach-level diversity declines. Investigating when approach-level diversity helps and whether it can be directly induced, we find that approach-diverse candidate sets improve test-time scaling. However, optimizing an LLM judge diversity reward during training causes the policy to exploit judge-specific preferences rather than broaden its approaches, leaving direct optimization of approach-level diversity as an open problem. Together, our work introduces the notion of approach-level diversity and uncovers a systematic divergence between surface- and approach-level signals, marking a step toward LLMs that reason in genuinely diverse, human-like ways.