La sélection d'exemples en contexte via la recherche de similarité améliore la traduction automatique avec peu de ressources

In-Context Example Selection via Similarity Search Improves Low-Resource Machine Translation

August 1, 2024

Auteurs: Armel Zebaze, Benoît Sagot, Rachel Bawden

cs.AI

Résumé

La capacité des grands modèles de langage génératifs (LLMs) à effectuer un apprentissage en contexte a suscité un grand nombre de recherches sur la manière optimale de formuler des prompts pour diverses tâches de traitement du langage naturel. Dans cet article, nous nous concentrons sur la traduction automatique (MT), une tâche qui a démontré des bénéfices grâce à l'utilisation d'exemples de traduction en contexte. Cependant, aucune étude systématique n'a été publiée sur la meilleure manière de sélectionner ces exemples, et des résultats mitigés ont été rapportés concernant l'utilité d'une sélection basée sur la similarité par rapport à une sélection aléatoire. Nous proposons une étude couvrant plusieurs LLMs et plusieurs stratégies de récupération d'exemples en contexte, en comparant des embeddings de phrases multilingues. Nous couvrons plusieurs directions linguistiques, représentant différents niveaux de ressources linguistiques (de l'anglais vers le français, l'allemand, le swahili et le wolof). Contrairement aux résultats précédemment publiés, nous constatons que la similarité des embeddings de phrases peut améliorer la MT, en particulier pour les directions linguistiques à faibles ressources, et nous discutons de l'équilibre entre la diversité et la qualité du pool de sélection. Nous mettons également en lumière des problèmes potentiels dans l'évaluation de la MT basée sur les LLMs et suggérons un protocole d'évaluation plus approprié, en adaptant la métrique COMET à l'évaluation des LLMs. Le code et les sorties sont librement disponibles à l'adresse https://github.com/ArmelRandy/ICL-MT.

English

The ability of generative large language models (LLMs) to perform in-context learning has given rise to a large body of research into how best to prompt models for various natural language processing tasks. In this paper, we focus on machine translation (MT), a task that has been shown to benefit from in-context translation examples. However no systematic studies have been published on how best to select examples, and mixed results have been reported on the usefulness of similarity-based selection over random selection. We provide a study covering multiple LLMs and multiple in-context example retrieval strategies, comparing multilingual sentence embeddings. We cover several language directions, representing different levels of language resourcedness (English into French, German, Swahili and Wolof). Contrarily to previously published results, we find that sentence embedding similarity can improve MT, especially for low-resource language directions, and discuss the balance between selection pool diversity and quality. We also highlight potential problems with the evaluation of LLM-based MT and suggest a more appropriate evaluation protocol, adapting the COMET metric to the evaluation of LLMs. Code and outputs are freely available at https://github.com/ArmelRandy/ICL-MT.