Reinforcement Learning bewirkt kontextuelles Lernen der Übersetzung unbekannter Sprachen.

Zusammenfassung

Frühere Arbeiten haben gezeigt, dass große Sprachmodelle (LLMs) unbekannte oder ressourcenarme Sprachen übersetzen können, indem sie einem fortgesetzten Training unterzogen werden oder sogar ein Grammatikbuch in ihren Kontext einbetten. Beide Methoden leiden jedoch typischerweise unter Überanpassung an bestimmte Sprachen, mit nur eingeschränktem Zero-Shot-Transfer zur Testzeit. Um extrem ressourcenarme Sprachen in großem Maßstab zu übersetzen, argumentieren wir, dass LLMs die Meta-Fähigkeit erwerben müssen, sprachliches Wissen im Kontext zu nutzen, anstatt sich bestimmte Sprachen einzuprägen. In diesem Papier schlagen wir einen Ansatz des Verstärkungslernens (RL) für die Übersetzung unbekannter Sprachen vor, der einen reichhaltigen sprachlichen Kontext nutzt und eine oberflächliche Übersetzungsmetrik (chrF) als Belohnung verwendet. Empirisch gesehen extrahieren und wenden unsere mit RL trainierten Modelle trotz der leichtgewichtigen Belohnung effektiv relevante sprachliche Informationen aus dem bereitgestellten Kontext an, was zu besseren Übersetzungen völlig unbekannter Sprachen führt als In-Context-Lernen oder überwachtes Feintuning. Unsere Analysen deuten darauf hin, dass ergebnisbasiertes RL über traditionelle Argumentationsaufgaben wie Mathematik und Programmieren hinausgehen und als Rezept für Sprachlernen aus dem Kontext dienen kann.

English

Prior work has shown that large language models (LLMs) can translate unseen or low-resource languages by undergoing continued training or even by encoding a grammar book in their context. However, both methods typically overfit specific languages, with limited zero-shot transfer at test time. To translate extremely low-resource languages at scale, we argue that LLMs must acquire the meta-skill of utilizing in-context linguistic knowledge rather than memorizing specific languages. In this paper, we propose a reinforcement learning (RL) approach to unseen language translation given rich linguistic context, using a surface-level translation metric (chrF) as the reward. Empirically, despite the lightweight reward, our RL-trained models effectively extract and apply relevant linguistic information from the provided context, leading to better translations on completely unseen languages than in-context learning or supervised fine-tuning. Our analyses suggest that outcome-based RL can extend beyond conventional reasoning tasks like math and coding to serve as a recipe for language learning from context.