In-context voorbeeldselectie via gelijkeniszoeken verbetert machinaal vertalen met beperkte bronnen

In-Context Example Selection via Similarity Search Improves Low-Resource Machine Translation

August 1, 2024

Auteurs: Armel Zebaze, Benoît Sagot, Rachel Bawden

cs.AI

Samenvatting

Het vermogen van generatieve grote taalmmodellen (LLMs) om in-context leren uit te voeren, heeft geleid tot een groot aantal onderzoeken naar de beste manier om modellen aan te sturen voor verschillende natuurlijke taalverwerkingstaken. In dit artikel richten we ons op machinaal vertalen (MT), een taak waarvan is aangetoond dat deze baat heeft bij in-context vertaalvoorbeelden. Er zijn echter nog geen systematische studies gepubliceerd over de beste manier om voorbeelden te selecteren, en er zijn gemengde resultaten gerapporteerd over het nut van op gelijkenis gebaseerde selectie ten opzichte van willekeurige selectie. Wij presenteren een studie die meerdere LLMs en meerdere in-context voorbeeldretrievalstrategieën omvat, waarbij we meertalige zinembeddingen vergelijken. We behandelen verschillende taalrichtingen, die verschillende niveaus van taalhulpbronnen vertegenwoordigen (Engels naar Frans, Duits, Swahili en Wolof). In tegenstelling tot eerder gepubliceerde resultaten, vinden we dat de gelijkenis van zinembeddingen MT kan verbeteren, vooral voor taalrichtingen met weinig hulpbronnen, en bespreken we de balans tussen diversiteit en kwaliteit van de selectiepool. We benadrukken ook potentiële problemen bij de evaluatie van LLM-gebaseerde MT en stellen een geschikter evaluatieprotocol voor, waarbij we de COMET-metric aanpassen voor de evaluatie van LLMs. Code en uitvoer zijn vrij beschikbaar op https://github.com/ArmelRandy/ICL-MT.

English

The ability of generative large language models (LLMs) to perform in-context learning has given rise to a large body of research into how best to prompt models for various natural language processing tasks. In this paper, we focus on machine translation (MT), a task that has been shown to benefit from in-context translation examples. However no systematic studies have been published on how best to select examples, and mixed results have been reported on the usefulness of similarity-based selection over random selection. We provide a study covering multiple LLMs and multiple in-context example retrieval strategies, comparing multilingual sentence embeddings. We cover several language directions, representing different levels of language resourcedness (English into French, German, Swahili and Wolof). Contrarily to previously published results, we find that sentence embedding similarity can improve MT, especially for low-resource language directions, and discuss the balance between selection pool diversity and quality. We also highlight potential problems with the evaluation of LLM-based MT and suggest a more appropriate evaluation protocol, adapting the COMET metric to the evaluation of LLMs. Code and outputs are freely available at https://github.com/ArmelRandy/ICL-MT.