¿Estamos midiendo estrategia o redacción? La brecha entre la diversidad a nivel superficial y a nivel de enfoque en el razonamiento matemático de los LLM

Resumen

La diversidad en el razonamiento matemático de los LLM es fundamental para la exploración, pero las métricas de diversidad comunes capturan principalmente variaciones superficiales en lugar de diferencias en cómo se resuelve un problema. Abordamos esta brecha introduciendo la diversidad a nivel de enfoque: variación en las estrategias entre soluciones correctas para un mismo problema. Utilizando un marco de evaluación de LLM calibrado con humanos, demostramos que las medidas previas de diversidad son proxies poco fiables para la diversidad a nivel de enfoque, y este desajuste se traslada al RLVR consciente de la diversidad, donde se preservan las métricas objetivo mientras la diversidad a nivel de enfoque disminuye. Al investigar cuándo ayuda la diversidad a nivel de enfoque y si puede inducirse directamente, encontramos que los conjuntos de candidatos diversos en enfoque mejoran el escalado en tiempo de prueba. Sin embargo, optimizar una recompensa de diversidad basada en un evaluador LLM durante el entrenamiento provoca que la política explote preferencias específicas del evaluador en lugar de ampliar sus enfoques, dejando la optimización directa de la diversidad a nivel de enfoque como un problema abierto. En conjunto, nuestro trabajo introduce la noción de diversidad a nivel de enfoque y revela una divergencia sistemática entre las señales superficiales y las de nivel de enfoque, marcando un paso hacia LLM que razonan de formas genuinamente diversas y similares a las humanas.

English

Diversity in LLM mathematical reasoning is critical for exploration, but common diversity metrics mostly capture surface-level variation rather than differences in how a problem is solved. We address this gap by introducing approach-level diversity: variation in strategies across correct solutions to the same problem. Using a human-calibrated LLM judge framework, we show that prior diversity measures are unreliable proxies for approach-level diversity, and this mismatch carries over to diversity-aware RLVR, where target metrics are preserved while approach-level diversity declines. Investigating when approach-level diversity helps and whether it can be directly induced, we find that approach-diverse candidate sets improve test-time scaling. However, optimizing an LLM judge diversity reward during training causes the policy to exploit judge-specific preferences rather than broaden its approaches, leaving direct optimization of approach-level diversity as an open problem. Together, our work introduces the notion of approach-level diversity and uncovers a systematic divergence between surface- and approach-level signals, marking a step toward LLMs that reason in genuinely diverse, human-like ways.