Quand la vie vous offre des échantillons : les avantages de l'augmentation de la puissance de calcul pour l'inférence des LLMs multilingues

When Life Gives You Samples: The Benefits of Scaling up Inference Compute for Multilingual LLMs

June 25, 2025

Auteurs: Ammar Khairi, Daniel D'souza, Ye Shen, Julia Kreutzer, Sara Hooker

cs.AI

Résumé

Les récentes avancées dans les modèles de langage à grande échelle (LLMs) ont recentré l'attention sur la mise à l'échelle des calculs lors de l'inférence, améliorant les performances sans nécessiter de réentraînement du modèle. Une approche courante consiste à échantillonner plusieurs sorties en parallèle et à en sélectionner une comme résultat final. Cependant, les travaux à ce jour se sont principalement concentrés sur l'anglais et quelques domaines spécifiques comme les mathématiques et le code. En revanche, nous nous intéressons particulièrement aux techniques qui se généralisent à des tâches ouvertes, des tâches formellement vérifiables et à travers différentes langues. Dans ce travail, nous étudions comment mettre à l'échelle de manière robuste les calculs lors de l'inférence pour des tâches génératives ouvertes dans un contexte multilingue et multitâche. Nos résultats montrent que la stratégie d'échantillonnage basée sur la variation de température et la stratégie de sélection doivent être adaptées pour tenir compte de domaines divers et de contextes linguistiques variés. Nous évaluons les méthodes de sélection existantes, révélant que les stratégies efficaces en anglais échouent souvent à se généraliser à d'autres langues. Nous proposons de nouvelles stratégies d'échantillonnage et de sélection spécifiquement adaptées aux scénarios d'inférence multilingues et multitâches, et montrons qu'elles apportent des gains significatifs à travers les langues et les tâches. En particulier, nos méthodes combinées d'échantillonnage et de sélection entraînent une augmentation moyenne de +6,8 des taux de victoire pour nos modèles de 8B sur les prompts de m-ArenaHard-v2.0, par rapport à des modèles propriétaires comme Gemini. À plus grande échelle, Command-A (modèle de 111B) équipé de nos méthodes montre une amélioration de +9,0 des taux de victoire sur le même benchmark avec seulement cinq échantillons par rapport au décodage à échantillon unique, une augmentation substantielle à un coût minimal. Nos résultats soulignent la nécessité d'approches adaptées à la langue et à la tâche pour les calculs lors de l'inférence, visant à démocratiser les améliorations de performance dans les langues sous-représentées.

English

Recent advancements in large language models (LLMs) have shifted focus toward scaling inference-time compute, improving performance without retraining the model. A common approach is to sample multiple outputs in parallel, and select one of these as the final output. However, work to date has focused on English and a handful of domains such as math and code. In contrast, we are most interested in techniques that generalize across open-ended tasks, formally verifiable tasks, and across languages. In this work, we study how to robustly scale inference-time compute for open-ended generative tasks in a multilingual, multi-task setting. Our findings show that both sampling strategy based on temperature variation and selection strategy must be adapted to account for diverse domains and varied language settings. We evaluate existing selection methods, revealing that strategies effective in English often fail to generalize across languages. We propose novel sampling and selection strategies specifically adapted for multilingual and multi-task inference scenarios, and show they yield notable gains across languages and tasks. In particular, our combined sampling and selection methods lead to an average +6.8 jump in win-rates for our 8B models on m-ArenaHard-v2.0 prompts, against proprietary models such as Gemini. At larger scale, Command-A (111B model) equipped with our methods, shows +9.0 improvement in win-rates on the same benchmark with just five samples against single-sample decoding, a substantial increase at minimal cost. Our results underscore the need for language- and task-aware approaches to inference-time compute, aiming to democratize performance improvements in underrepresented languages.