La selección de ejemplos en contexto a través de la búsqueda de similitudes mejora la traducción automática de baja recursos.

In-Context Example Selection via Similarity Search Improves Low-Resource Machine Translation

August 1, 2024

Autores: Armel Zebaze, Benoît Sagot, Rachel Bawden

cs.AI

Resumen

La capacidad de los grandes modelos de lenguaje generativos (LLMs, por sus siglas en inglés) para realizar aprendizaje en contexto ha dado lugar a una gran cantidad de investigaciones sobre la mejor manera de guiar a los modelos para diversas tareas de procesamiento de lenguaje natural. En este artículo, nos enfocamos en la traducción automática (MT, por sus siglas en inglés), una tarea que se ha demostrado que se beneficia de ejemplos de traducción en contexto. Sin embargo, no se han publicado estudios sistemáticos sobre la mejor manera de seleccionar ejemplos, y se han reportado resultados mixtos sobre la utilidad de la selección basada en similitud en comparación con la selección aleatoria. Presentamos un estudio que abarca múltiples LLMs y múltiples estrategias de recuperación de ejemplos en contexto, comparando incrustaciones de oraciones multilingües. Cubrimos varias direcciones de idioma, representando diferentes niveles de recursos lingüísticos (inglés a francés, alemán, suajili y wolof). Contrariamente a los resultados previamente publicados, encontramos que la similitud de incrustación de oraciones puede mejorar la traducción automática, especialmente para direcciones de idioma con pocos recursos, y discutimos el equilibrio entre la diversidad y la calidad del conjunto de selección. También destacamos posibles problemas con la evaluación de la traducción automática basada en LLMs y sugerimos un protocolo de evaluación más apropiado, adaptando la métrica COMET a la evaluación de LLMs. El código y los resultados están disponibles de forma gratuita en https://github.com/ArmelRandy/ICL-MT.

English

The ability of generative large language models (LLMs) to perform in-context learning has given rise to a large body of research into how best to prompt models for various natural language processing tasks. In this paper, we focus on machine translation (MT), a task that has been shown to benefit from in-context translation examples. However no systematic studies have been published on how best to select examples, and mixed results have been reported on the usefulness of similarity-based selection over random selection. We provide a study covering multiple LLMs and multiple in-context example retrieval strategies, comparing multilingual sentence embeddings. We cover several language directions, representing different levels of language resourcedness (English into French, German, Swahili and Wolof). Contrarily to previously published results, we find that sentence embedding similarity can improve MT, especially for low-resource language directions, and discuss the balance between selection pool diversity and quality. We also highlight potential problems with the evaluation of LLM-based MT and suggest a more appropriate evaluation protocol, adapting the COMET metric to the evaluation of LLMs. Code and outputs are freely available at https://github.com/ArmelRandy/ICL-MT.