A seleção de exemplos em contexto por meio de busca de similaridade melhora a tradução automática de baixo recurso.

In-Context Example Selection via Similarity Search Improves Low-Resource Machine Translation

August 1, 2024

Autores: Armel Zebaze, Benoît Sagot, Rachel Bawden

cs.AI

Resumo

A capacidade dos grandes modelos de linguagem generativos (LLMs) de realizar aprendizado em contexto deu origem a um grande corpo de pesquisa sobre a melhor forma de orientar os modelos para várias tarefas de processamento de linguagem natural. Neste artigo, focamos na tradução automática (MT), uma tarefa que tem se beneficiado de exemplos de tradução em contexto. No entanto, não foram publicados estudos sistemáticos sobre a melhor forma de selecionar exemplos, e resultados mistos foram relatados sobre a utilidade da seleção baseada em similaridade em relação à seleção aleatória. Apresentamos um estudo que abrange vários LLMs e múltiplas estratégias de recuperação de exemplos em contexto, comparando incrustações de sentenças multilíngues. Cobrimos várias direções de idioma, representando diferentes níveis de recursos linguísticos (inglês para francês, alemão, suaíli e wolof). Contrariamente aos resultados previamente publicados, descobrimos que a similaridade de incrustação de sentenças pode melhorar a tradução automática, especialmente para direções de idioma de baixo recurso, e discutimos o equilíbrio entre diversidade e qualidade do pool de seleção. Também destacamos possíveis problemas na avaliação da tradução automática baseada em LLMs e sugerimos um protocolo de avaliação mais apropriado, adaptando a métrica COMET para a avaliação de LLMs. O código e os resultados estão disponíveis gratuitamente em https://github.com/ArmelRandy/ICL-MT.

English

The ability of generative large language models (LLMs) to perform in-context learning has given rise to a large body of research into how best to prompt models for various natural language processing tasks. In this paper, we focus on machine translation (MT), a task that has been shown to benefit from in-context translation examples. However no systematic studies have been published on how best to select examples, and mixed results have been reported on the usefulness of similarity-based selection over random selection. We provide a study covering multiple LLMs and multiple in-context example retrieval strategies, comparing multilingual sentence embeddings. We cover several language directions, representing different levels of language resourcedness (English into French, German, Swahili and Wolof). Contrarily to previously published results, we find that sentence embedding similarity can improve MT, especially for low-resource language directions, and discuss the balance between selection pool diversity and quality. We also highlight potential problems with the evaluation of LLM-based MT and suggest a more appropriate evaluation protocol, adapting the COMET metric to the evaluation of LLMs. Code and outputs are freely available at https://github.com/ArmelRandy/ICL-MT.