Die Lücken schließen: Minderung von Reward Hacking in Reinforcement Learning für mehrsprachige Übersetzung

Mending the Holes: Mitigating Reward Hacking in Reinforcement Learning for Multilingual Translation

March 13, 2026

Autoren: Yifeng Liu, Siqi Ouyang, Yatish Hosmane Revanasiddappa, Lei Li

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben bemerkenswerte Fähigkeiten bei der maschinellen Übersetzung hochressourcierter Sprachpaare gezeigt, doch ihre Leistung bei der Übersetzung ressourcenarmer Sprachen hinkt immer noch hinterher. Bestehende Nachtrainierungsmethoden sind stark auf hochwertige parallele Daten angewiesen, die für ressourcenarme Sprachen oft knapp oder nicht verfügbar sind. In diesem Artikel stellen wir WALAR vor, eine Verstärkungslern-Methode, die ausschließlich monolinguale Texte nutzt, um die Übersetzungsfähigkeiten von LLMs für eine Vielzahl ressourcenarmer Sprachen zu verbessern und gleichzeitig ihre Leistung bei hochressourcierten Sprachen beizubehalten. Unser zentraler Ansatz basiert auf der Beobachtung von Fehlermustern (oder "Lücken") in bestehenden quellenbasierten multilingualen Qualitätsbewertungsmodellen (QE). Verstärkungslernen (RL) mit diesen QE-Modellen neigt dazu, solche Lücken zu verstärken, was zu schlechteren multilingualen LLMs führt. Wir entwickeln Techniken, einschließlich Wort- und Sprachabgleich, um diese Lücken in der WALAR-Belohnungsfunktion für das RL-Training zu reduzieren. Wir haben kontinuierlich ein LLM trainiert, das Übersetzungen für 101 Sprachen unterstützt, unter Verwendung von WALAR. Die Experimente zeigen, dass unser neues Modell LLaMAX, eines der leistungsstärksten quelloffenen multilingualen LLMs, auf dem Flores-101-Datensatz bei 1400 Sprachrichtungen deutlich übertrifft.

English

Large Language Models (LLMs) have demonstrated remarkable capability in machine translation on high-resource language pairs, yet their performance on low-resource translation still lags behind. Existing post-training methods rely heavily on high-quality parallel data, which are often scarce or unavailable for low-resource languages. In this paper, we introduce WALAR, a reinforcement training method using only monolingual text to elevate LLMs' translation capabilities on massive low-resource languages while retaining their performance on high-resource languages. Our key insight is based on the observation of failure modes (or "holes") in existing source-based multilingual quality estimation (QE) models. Reinforcement learning (RL) using these QE models tends to amplify such holes, resulting in poorer multilingual LLMs. We develop techniques including word alignment and language alignment to mitigate such holes in WALAR's reward for RL training. We continually trained an LLM supporting translation of 101 languages using WALAR. The experiments show that our new model outperforms LLaMAX, one of the strongest open-source multilingual LLMs by a large margin on 1400 language directions on Flores-101 dataset.