Cinétique : Repenser les lois d'échelle en phase de test

Résumé

Nous repensons les lois de mise à l'échelle au moment des tests sous l'angle de l'efficacité pratique, révélant que l'efficacité des modèles plus petits est considérablement surestimée. Les travaux antérieurs, basés sur l'optimalité de calcul, négligent les goulets d'étranglement critiques liés à l'accès à la mémoire introduits par les stratégies d'inférence (par exemple, Best-of-N, longues chaînes de pensée). Notre analyse holistique, couvrant des modèles de 0,6 à 32 milliards de paramètres, révèle une nouvelle loi de mise à l'échelle cinétique qui guide mieux l'allocation des ressources en intégrant à la fois les coûts de calcul et d'accès à la mémoire. La loi de mise à l'échelle cinétique suggère que le calcul au moment des tests est plus efficace lorsqu'il est utilisé sur des modèles dépassant un certain seuil plutôt que sur des modèles plus petits. Une raison clé est que, dans le contexte des tests, l'attention, plutôt que le nombre de paramètres, devient le facteur de coût dominant. Motivés par cela, nous proposons un nouveau paradigme de mise à l'échelle centré sur l'attention sparse, qui réduit le coût par token et permet des générations plus longues ainsi qu'un plus grand nombre d'échantillons parallèles dans le même budget de ressources. Empiriquement, nous montrons que les modèles à attention sparse surpassent systématiquement leurs homologues denses, obtenant des gains de plus de 60 points dans les régimes à faible coût et de plus de 5 points dans les régimes à coût élevé pour la précision de résolution de problèmes sur AIME, incluant des évaluations sur les modèles Mixture of Experts (MoE) de pointe. Ces résultats suggèrent que l'attention sparse est essentielle pour réaliser le plein potentiel de la mise à l'échelle au moment des tests, car, contrairement à l'entraînement où la mise à l'échelle des paramètres atteint un plateau, la précision au moment des tests continue de s'améliorer grâce à une génération accrue. Le code est disponible à l'adresse suivante : https://github.com/Infini-AI-Lab/Kinetics.

English

We rethink test-time scaling laws from a practical efficiency perspective, revealing that the effectiveness of smaller models is significantly overestimated. Prior work, grounded in compute-optimality, overlooks critical memory access bottlenecks introduced by inference-time strategies (e.g., Best-of-N, long CoTs). Our holistic analysis, spanning models from 0.6B to 32B parameters, reveals a new Kinetics Scaling Law that better guides resource allocation by incorporating both computation and memory access costs. Kinetics Scaling Law suggests that test-time compute is more effective when used on models above a threshold than smaller ones. A key reason is that in TTS, attention, rather than parameter count, emerges as the dominant cost factor. Motivated by this, we propose a new scaling paradigm centered on sparse attention, which lowers per-token cost and enables longer generations and more parallel samples within the same resource budget. Empirically, we show that sparse attention models consistently outperform dense counterparts, achieving over 60 points gains in low-cost regimes and over 5 points gains in high-cost regimes for problem-solving accuracy on AIME, encompassing evaluations on state-of-the-art MoEs. These results suggest that sparse attention is essential for realizing the full potential of test-time scaling because, unlike training, where parameter scaling saturates, test-time accuracy continues to improve through increased generation. The code is available at https://github.com/Infini-AI-Lab/Kinetics.

Cinétique : Repenser les lois d'échelle en phase de test

Kinetics: Rethinking Test-Time Scaling Laws

Résumé

Support