Wenn das Leben dir Stichproben gibt: Die Vorteile der Skalierung von Inferenzrechenleistung für mehrsprachige LLMs

When Life Gives You Samples: The Benefits of Scaling up Inference Compute for Multilingual LLMs

June 25, 2025

Autoren: Ammar Khairi, Daniel D'souza, Ye Shen, Julia Kreutzer, Sara Hooker

cs.AI

Zusammenfassung

Jüngste Fortschritte bei großen Sprachmodellen (LLMs) haben den Fokus auf die Skalierung der Inferenz-Rechenleistung verlagert, um die Leistung zu verbessern, ohne das Modell neu zu trainieren. Ein gängiger Ansatz besteht darin, mehrere Ausgaben parallel zu generieren und eine davon als endgültige Ausgabe auszuwählen. Bisherige Arbeiten konzentrierten sich jedoch auf Englisch und einige wenige Domänen wie Mathematik und Code. Im Gegensatz dazu interessieren wir uns am meisten für Techniken, die sich auf offene Aufgaben, formal verifizierbare Aufgaben und verschiedene Sprachen verallgemeinern lassen. In dieser Arbeit untersuchen wir, wie die Inferenz-Rechenleistung für offene generative Aufgaben in einem mehrsprachigen, multi-task-Setting robust skaliert werden kann. Unsere Ergebnisse zeigen, dass sowohl die Sampling-Strategie basierend auf Temperaturvariation als auch die Auswahlstrategie an verschiedene Domänen und unterschiedliche Sprachumgebungen angepasst werden müssen. Wir bewerten bestehende Auswahlmethoden und zeigen, dass Strategien, die in Englisch effektiv sind, oft nicht auf andere Sprachen verallgemeinert werden können. Wir schlagen neuartige Sampling- und Auswahlstrategien vor, die speziell für mehrsprachige und multi-task-Inferenzszenarien angepasst sind, und zeigen, dass sie bemerkenswerte Verbesserungen über verschiedene Sprachen und Aufgaben hinweg erzielen. Insbesondere führen unsere kombinierten Sampling- und Auswahlmethoden zu einem durchschnittlichen Anstieg der Gewinnraten um +6,8 für unsere 8B-Modelle bei m-ArenaHard-v2.0-Prompts im Vergleich zu proprietären Modellen wie Gemini. In größerem Maßstab zeigt Command-A (111B-Modell), ausgestattet mit unseren Methoden, eine Verbesserung der Gewinnraten um +9,0 auf demselben Benchmark mit nur fünf Samples gegenüber der Einzel-Sample-Decodierung, ein erheblicher Anstieg bei minimalen Kosten. Unsere Ergebnisse unterstreichen die Notwendigkeit von sprach- und aufgabenbewussten Ansätzen für die Inferenz-Rechenleistung, um Leistungsverbesserungen in unterrepräsentierten Sprachen zu demokratisieren.

English

Recent advancements in large language models (LLMs) have shifted focus toward scaling inference-time compute, improving performance without retraining the model. A common approach is to sample multiple outputs in parallel, and select one of these as the final output. However, work to date has focused on English and a handful of domains such as math and code. In contrast, we are most interested in techniques that generalize across open-ended tasks, formally verifiable tasks, and across languages. In this work, we study how to robustly scale inference-time compute for open-ended generative tasks in a multilingual, multi-task setting. Our findings show that both sampling strategy based on temperature variation and selection strategy must be adapted to account for diverse domains and varied language settings. We evaluate existing selection methods, revealing that strategies effective in English often fail to generalize across languages. We propose novel sampling and selection strategies specifically adapted for multilingual and multi-task inference scenarios, and show they yield notable gains across languages and tasks. In particular, our combined sampling and selection methods lead to an average +6.8 jump in win-rates for our 8B models on m-ArenaHard-v2.0 prompts, against proprietary models such as Gemini. At larger scale, Command-A (111B model) equipped with our methods, shows +9.0 improvement in win-rates on the same benchmark with just five samples against single-sample decoding, a substantial increase at minimal cost. Our results underscore the need for language- and task-aware approaches to inference-time compute, aiming to democratize performance improvements in underrepresented languages.