L'apprentissage par renforcement suscite un apprentissage contextuel de la traduction de langues non vues.

Résumé

Des travaux antérieurs ont montré que les grands modèles de langue (LLMs) peuvent traduire des langues inédites ou à faibles ressources en poursuivant leur entraînement, voire en encodant un manuel de grammaire dans leur contexte. Cependant, ces deux méthodes surajustent généralement des langues spécifiques, avec un transfert zero-shot limité lors du test. Pour traduire à grande échelle des langues extrêmement peu dotées, nous soutenons que les LLMs doivent acquérir la méta-compétence d'exploiter les connaissances linguistiques contextuelles plutôt que de mémoriser des langues particulières. Dans cet article, nous proposons une approche par apprentissage par renforcement (RL) pour la traduction de langues inédites, en contexte linguistique riche, en utilisant une métrique de traduction de surface (chrF) comme récompense. Empiriquement, malgré la légèreté de la récompense, nos modèles entraînés par RL extraient et appliquent efficacement les informations linguistiques pertinentes du contexte fourni, produisant de meilleures traductions sur des langues totalement inédites que l'apprentissage contextuel ou l'ajustement fin supervisé. Nos analyses suggèrent que le RL basé sur les résultats peut s'étendre au-delà des tâches de raisonnement conventionnelles comme les mathématiques et le codage, pour servir de recette d'apprentissage des langues à partir du contexte.

English

Prior work has shown that large language models (LLMs) can translate unseen or low-resource languages by undergoing continued training or even by encoding a grammar book in their context. However, both methods typically overfit specific languages, with limited zero-shot transfer at test time. To translate extremely low-resource languages at scale, we argue that LLMs must acquire the meta-skill of utilizing in-context linguistic knowledge rather than memorizing specific languages. In this paper, we propose a reinforcement learning (RL) approach to unseen language translation given rich linguistic context, using a surface-level translation metric (chrF) as the reward. Empirically, despite the lightweight reward, our RL-trained models effectively extract and apply relevant linguistic information from the provided context, leading to better translations on completely unseen languages than in-context learning or supervised fine-tuning. Our analyses suggest that outcome-based RL can extend beyond conventional reasoning tasks like math and coding to serve as a recipe for language learning from context.