Messen wir Strategie oder Formulierung? Die Kluft zwischen Oberflächen- und Ansatzebenen-Diversität beim mathematischen Denken von LLMs

Zusammenfassung

Vielfalt im mathematischen Denken großer Sprachmodelle (LLMs) ist für die Exploration entscheidend, doch gängige Diversitätsmetriken erfassen meist nur oberflächliche Variation statt Unterschiede in der Lösungsweise eines Problems. Wir schließen diese Lücke, indem wir Vielfalt auf Ansatzebene einführen: Variation in den Strategien über korrekte Lösungen desselben Problems. Mithilfe eines menschlich kalibrierten LLM-Bewerter-Frameworks zeigen wir, dass bisherige Diversitätsmaße unzuverlässige Proxy-Größen für Ansatzvielfalt sind und diese Diskrepanz auf diversity-bewusstes RLVR übergreift, wo Zielmetriken erhalten bleiben, während die Ansatzvielfalt abnimmt. Bei der Untersuchung, wann Ansatzvielfalt hilfreich ist und ob sie direkt induziert werden kann, stellen wir fest, dass ansatzdiverse Kandidatensets die Skalierung zur Testzeit verbessern. Die Optimierung eines LLM-Bewerter-Diversitätsrewards während des Trainings führt jedoch dazu, dass die Policy richter-spezifische Präferenzen ausnutzt, anstatt ihre Ansätze zu verbreitern, sodass die direkte Optimierung der Ansatzvielfalt ein offenes Problem bleibt. Zusammengenommen führt unsere Arbeit den Begriff der Vielfalt auf Ansatzebene ein und deckt eine systematische Divergenz zwischen oberflächlichen und ansatzbezogenen Signalen auf – ein Schritt hin zu LLMs, die auf wirklich vielfältige, menschenähnliche Weise denken.

English

Diversity in LLM mathematical reasoning is critical for exploration, but common diversity metrics mostly capture surface-level variation rather than differences in how a problem is solved. We address this gap by introducing approach-level diversity: variation in strategies across correct solutions to the same problem. Using a human-calibrated LLM judge framework, we show that prior diversity measures are unreliable proxies for approach-level diversity, and this mismatch carries over to diversity-aware RLVR, where target metrics are preserved while approach-level diversity declines. Investigating when approach-level diversity helps and whether it can be directly induced, we find that approach-diverse candidate sets improve test-time scaling. However, optimizing an LLM judge diversity reward during training causes the policy to exploit judge-specific preferences rather than broaden its approaches, leaving direct optimization of approach-level diversity as an open problem. Together, our work introduces the notion of approach-level diversity and uncovers a systematic divergence between surface- and approach-level signals, marking a step toward LLMs that reason in genuinely diverse, human-like ways.