La selezione degli esempi in-context tramite ricerca di similarità migliora la traduzione automatica con risorse limitate

In-Context Example Selection via Similarity Search Improves Low-Resource Machine Translation

August 1, 2024

Autori: Armel Zebaze, Benoît Sagot, Rachel Bawden

cs.AI

Abstract

La capacità dei modelli linguistici generativi su larga scala (LLM) di apprendere in contesto ha dato origine a un ampio corpus di ricerche su come ottimizzare il prompting di questi modelli per vari compiti di elaborazione del linguaggio naturale. In questo articolo, ci concentriamo sulla traduzione automatica (MT), un compito che ha dimostrato di trarre vantaggio da esempi di traduzione in contesto. Tuttavia, non sono stati pubblicati studi sistematici su come selezionare al meglio gli esempi, e sono stati riportati risultati contrastanti sull'utilità della selezione basata sulla similarità rispetto alla selezione casuale. Presentiamo uno studio che copre diversi LLM e diverse strategie di recupero di esempi in contesto, confrontando gli embedding di frasi multilingue. Esaminiamo diverse direzioni linguistiche, rappresentanti diversi livelli di risorse linguistiche (dall'inglese al francese, tedesco, swahili e wolof). Contrariamente ai risultati precedentemente pubblicati, scopriamo che la similarità degli embedding di frasi può migliorare la MT, specialmente per le direzioni linguistiche a bassa risorsa, e discutiamo il bilanciamento tra diversità e qualità del pool di selezione. Evidenziamo inoltre potenziali problemi nella valutazione della MT basata su LLM e suggeriamo un protocollo di valutazione più appropriato, adattando la metrica COMET alla valutazione degli LLM. Il codice e gli output sono liberamente disponibili all'indirizzo https://github.com/ArmelRandy/ICL-MT.

English

The ability of generative large language models (LLMs) to perform in-context learning has given rise to a large body of research into how best to prompt models for various natural language processing tasks. In this paper, we focus on machine translation (MT), a task that has been shown to benefit from in-context translation examples. However no systematic studies have been published on how best to select examples, and mixed results have been reported on the usefulness of similarity-based selection over random selection. We provide a study covering multiple LLMs and multiple in-context example retrieval strategies, comparing multilingual sentence embeddings. We cover several language directions, representing different levels of language resourcedness (English into French, German, Swahili and Wolof). Contrarily to previously published results, we find that sentence embedding similarity can improve MT, especially for low-resource language directions, and discuss the balance between selection pool diversity and quality. We also highlight potential problems with the evaluation of LLM-based MT and suggest a more appropriate evaluation protocol, adapting the COMET metric to the evaluation of LLMs. Code and outputs are freely available at https://github.com/ArmelRandy/ICL-MT.