Generalizzabilità Linguistica del Ridimensionamento al Momento del Test nel Ragionamento Matematico

Linguistic Generalizability of Test-Time Scaling in Mathematical Reasoning

February 24, 2025

Autori: Guijin Son, Jiwoo Hong, Hyunwoo Ko, James Thorne

cs.AI

Abstract

Il potenziamento del calcolo durante il pre-training si è dimostrato efficace per raggiungere la multilinguità, ma lo stesso vale per il potenziamento al momento del test? In questo lavoro, introduciamo MCLM, un benchmark matematico multilingue che presenta problemi di livello competitivo in 55 lingue. Testiamo tre metodi di potenziamento al momento del test—Modellazione della Ricompensa per il Risultato (ORM), Modellazione della Ricompensa per il Processo (ORM) e Forzatura del Budget (BF)—sia su Qwen2.5-1.5B Math che su MR1-1.5B, un LLM multilingue che abbiamo addestrato per il ragionamento esteso. I nostri esperimenti mostrano che l'uso di Qwen2.5-1.5B Math con ORM raggiunge un punteggio di 35.8 su MCLM, mentre BF su MR1-1.5B ottiene 35.2. Sebbene i "LLM pensanti" abbiano recentemente attirato molta attenzione, scopriamo che le loro prestazioni sono comparabili ai metodi tradizionali di potenziamento come il best-of-N una volta vincolati a livelli simili di FLOP di inferenza. Inoltre, mentre BF produce un miglioramento di 20 punti su AIME in inglese, offre solo un guadagno medio di 1.94 punti nelle altre lingue—un modello coerente con gli altri metodi di potenziamento al momento del test studiati—evidenziando che il potenziamento al momento del test potrebbe non generalizzarsi altrettanto efficacemente ai compiti multilingue. Per favorire ulteriori ricerche, rilasciamo MCLM, MR1-1.5B e i risultati di valutazione.

English

Scaling pre-training compute has proven effective for achieving mulitlinguality, but does the same hold for test-time scaling? In this work, we introduce MCLM, a multilingual math benchmark featuring competition-level problems in 55 languages. We test three test-time scaling methods-Outcome Reward Modeling (ORM), Process Reward Modeling (ORM), and Budget Forcing (BF)-on both Qwen2.5-1.5B Math and MR1-1.5B, a multilingual LLM we trained for extended reasoning. Our experiments show that using Qwen2.5-1.5B Math with ORM achieves a score of 35.8 on MCLM, while BF on MR1-1.5B attains 35.2. Although "thinking LLMs" have recently garnered significant attention, we find that their performance is comparable to traditional scaling methods like best-of-N once constrained to similar levels of inference FLOPs. Moreover, while BF yields a 20-point improvement on English AIME, it provides only a 1.94-point average gain across other languages-a pattern consistent across the other test-time scaling methods we studied-higlighting that test-time scaling may not generalize as effectively to multilingual tasks. To foster further research, we release MCLM, MR1-1.5B, and evaluation results.