¿Dame FP32 o Dame Muerte? Desafíos y Soluciones para el Razonamiento Reproducible

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) son ahora fundamentales en diversos dominios y han demostrado un rendimiento impresionante. Sin embargo, el progreso depende de la premisa de que las puntuaciones de referencia sean tanto precisas como reproducibles. Demostramos que la reproducibilidad del rendimiento de los LLMs es frágil: cambios en la configuración del sistema, como el tamaño del lote de evaluación, el número de GPU y la versión de la GPU, pueden introducir diferencias significativas en las respuestas generadas. Este problema es especialmente pronunciado en los modelos de razonamiento, donde pequeñas diferencias de redondeo en los primeros tokens pueden propagarse en cadenas de pensamiento divergentes, afectando finalmente la precisión. Por ejemplo, bajo precisión bfloat16 con decodificación codiciosa, un modelo de razonamiento como DeepSeek-R1-Distill-Qwen-7B puede exhibir variaciones de hasta un 9% en precisión y una diferencia de 9,000 tokens en la longitud de la respuesta debido a diferencias en el número de GPU, el tipo y el tamaño del lote de evaluación. Rastreamos la causa raíz de esta variabilidad a la naturaleza no asociativa de la aritmética de punto flotante bajo precisión numérica limitada. Este trabajo presenta la primera investigación sistemática sobre cómo la precisión numérica afecta la reproducibilidad en la inferencia de LLMs. A través de experimentos cuidadosamente controlados en diversos entornos de hardware, software y precisión, cuantificamos cuándo y cómo divergen las salidas del modelo. Nuestro análisis revela que la precisión de punto flotante, aunque crítica para la reproducibilidad, a menudo se descuida en las prácticas de evaluación. Inspirados por esto, desarrollamos una canalización de inferencia ligera, denominada LayerCast, que almacena los pesos en precisión de 16 bits pero realiza todos los cálculos en FP32, equilibrando la eficiencia de memoria con la estabilidad numérica. El código está disponible en https://github.com/nanomaoli/llm_reproducibility.

English

Large Language Models (LLMs) are now integral across various domains and have demonstrated impressive performance. Progress, however, rests on the premise that benchmark scores are both accurate and reproducible. We demonstrate that the reproducibility of LLM performance is fragile: changing system configuration such as evaluation batch size, GPU count, and GPU version can introduce significant difference in the generated responses. This issue is especially pronounced in reasoning models, where minor rounding differences in early tokens can cascade into divergent chains of thought, ultimately affecting accuracy. For instance, under bfloat16 precision with greedy decoding, a reasoning model like DeepSeek-R1-Distill-Qwen-7B can exhibit up to 9% variation in accuracy and 9,000 tokens difference in response length due to differences in GPU count, type, and evaluation batch size. We trace the root cause of this variability to the non-associative nature of floating-point arithmetic under limited numerical precision. This work presents the first systematic investigation into how numerical precision affects reproducibility in LLM inference. Through carefully controlled experiments across various hardware, software, and precision settings, we quantify when and how model outputs diverge. Our analysis reveals that floating-point precision -- while critical for reproducibility -- is often neglected in evaluation practices. Inspired by this, we develop a lightweight inference pipeline, dubbed LayerCast, that stores weights in 16-bit precision but performs all computations in FP32, balancing memory efficiency with numerical stability. Code is available at https://github.com/nanomaoli/llm_reproducibility.

¿Dame FP32 o Dame Muerte? Desafíos y Soluciones para el Razonamiento Reproducible

Give Me FP32 or Give Me Death? Challenges and Solutions for Reproducible Reasoning

Resumen

Support