El aprendizaje por refuerzo induce el aprendizaje contextual de la traducción de idiomas no vistos

Resumen

Estudios previos han demostrado que los modelos de lenguaje grandes (LLMs) pueden traducir lenguas no vistas o de bajos recursos mediante entrenamiento continuado o incluso codificando un libro de gramática en su contexto. Sin embargo, ambos métodos suelen sobreajustarse a lenguas específicas, con una transferencia cero disparo limitada en tiempo de prueba. Para traducir lenguas de recursos extremadamente bajos a gran escala, sostenemos que los LLMs deben adquirir la meta-habilidad de utilizar conocimiento lingüístico en contexto, en lugar de memorizar lenguas específicas. En este artículo, proponemos un enfoque de aprendizaje por refuerzo (RL) para la traducción de lenguas no vistas, dado un contexto lingüístico rico, utilizando una métrica de traducción a nivel superficial (chrF) como recompensa. Empíricamente, a pesar de la recompensa ligera, nuestros modelos entrenados con RL extraen y aplican eficazmente información lingüística relevante del contexto proporcionado, lo que conduce a mejores traducciones en lenguas completamente no vistas en comparación con el aprendizaje en contexto o el ajuste fino supervisado. Nuestros análisis sugieren que el RL basado en resultados puede extenderse más allá de las tareas de razonamiento convencionales, como matemáticas y programación, para servir como una receta para el aprendizaje de idiomas a partir del contexto.

English

Prior work has shown that large language models (LLMs) can translate unseen or low-resource languages by undergoing continued training or even by encoding a grammar book in their context. However, both methods typically overfit specific languages, with limited zero-shot transfer at test time. To translate extremely low-resource languages at scale, we argue that LLMs must acquire the meta-skill of utilizing in-context linguistic knowledge rather than memorizing specific languages. In this paper, we propose a reinforcement learning (RL) approach to unseen language translation given rich linguistic context, using a surface-level translation metric (chrF) as the reward. Empirically, despite the lightweight reward, our RL-trained models effectively extract and apply relevant linguistic information from the provided context, leading to better translations on completely unseen languages than in-context learning or supervised fine-tuning. Our analyses suggest that outcome-based RL can extend beyond conventional reasoning tasks like math and coding to serve as a recipe for language learning from context.