Kinetics: Ripensare le leggi di scala durante il test

Abstract

Ripensiamo le leggi di scala al momento del test da una prospettiva di efficienza pratica, rivelando che l'efficacia dei modelli più piccoli è significativamente sovrastimata. Il lavoro precedente, basato sull'ottimalità computazionale, trascura i colli di bottiglia critici nell'accesso alla memoria introdotti dalle strategie di inferenza (ad esempio, Best-of-N, CoT lunghi). La nostra analisi olistica, che copre modelli da 0,6B a 32B parametri, rivela una nuova Legge di Scala Cinetica che guida meglio l'allocazione delle risorse incorporando sia i costi computazionali che quelli di accesso alla memoria. La Legge di Scala Cinetica suggerisce che la potenza di calcolo al momento del test è più efficace quando utilizzata su modelli al di sopra di una certa soglia rispetto a quelli più piccoli. Una ragione chiave è che, nel TTS, l'attenzione, piuttosto che il numero di parametri, emerge come il fattore di costo dominante. Motivati da ciò, proponiamo un nuovo paradigma di scala incentrato sull'attenzione sparsa, che riduce il costo per token e consente generazioni più lunghe e più campioni paralleli all'interno dello stesso budget di risorse. Empiricamente, dimostriamo che i modelli con attenzione sparsa superano costantemente le controparti dense, ottenendo guadagni superiori a 60 punti nei regimi a basso costo e oltre 5 punti nei regimi ad alto costo per l'accuratezza nella risoluzione di problemi su AIME, includendo valutazioni sui MoE all'avanguardia. Questi risultati suggeriscono che l'attenzione sparsa è essenziale per realizzare il pieno potenziale della scala al momento del test perché, a differenza dell'addestramento, dove la scala dei parametri si satura, l'accuratezza al momento del test continua a migliorare attraverso una maggiore generazione. Il codice è disponibile su https://github.com/Infini-AI-Lab/Kinetics.

English

We rethink test-time scaling laws from a practical efficiency perspective, revealing that the effectiveness of smaller models is significantly overestimated. Prior work, grounded in compute-optimality, overlooks critical memory access bottlenecks introduced by inference-time strategies (e.g., Best-of-N, long CoTs). Our holistic analysis, spanning models from 0.6B to 32B parameters, reveals a new Kinetics Scaling Law that better guides resource allocation by incorporating both computation and memory access costs. Kinetics Scaling Law suggests that test-time compute is more effective when used on models above a threshold than smaller ones. A key reason is that in TTS, attention, rather than parameter count, emerges as the dominant cost factor. Motivated by this, we propose a new scaling paradigm centered on sparse attention, which lowers per-token cost and enables longer generations and more parallel samples within the same resource budget. Empirically, we show that sparse attention models consistently outperform dense counterparts, achieving over 60 points gains in low-cost regimes and over 5 points gains in high-cost regimes for problem-solving accuracy on AIME, encompassing evaluations on state-of-the-art MoEs. These results suggest that sparse attention is essential for realizing the full potential of test-time scaling because, unlike training, where parameter scaling saturates, test-time accuracy continues to improve through increased generation. The code is available at https://github.com/Infini-AI-Lab/Kinetics.

Kinetics: Ripensare le leggi di scala durante il test

Kinetics: Rethinking Test-Time Scaling Laws

Abstract

Support