Выбор примеров в контексте с помощью поиска похожих улучшает машинный перевод при ограниченных ресурсах.
In-Context Example Selection via Similarity Search Improves Low-Resource Machine Translation
August 1, 2024
Авторы: Armel Zebaze, Benoît Sagot, Rachel Bawden
cs.AI
Аннотация
Способность генеративных моделей больших языковых моделей (LLM) выполнять контекстное обучение привела к появлению большого объема исследований по тому, как лучше всего подавать моделям запросы для различных задач обработки естественного языка. В данной статье мы сосредотачиваемся на машинном переводе (MT), задаче, которая, как показано, выигрывает от контекстных примеров перевода. Однако систематических исследований по тому, как лучше всего выбирать примеры, не было опубликовано, и были получены противоречивые результаты относительно полезности выбора на основе сходства по сравнению с случайным выбором. Мы представляем исследование, охватывающее несколько LLM и несколько стратегий извлечения контекстных примеров, сравнивая мультиязычные векторные представления предложений. Мы рассматриваем несколько языковых направлений, представляющих разные уровни языковых ресурсов (с английского на французский, немецкий, суахили и волоф). В отличие от ранее опубликованных результатов, мы обнаруживаем, что сходство векторных представлений предложений может улучшить машинный перевод, особенно для направлений с низкими языковыми ресурсами, и обсуждаем баланс между разнообразием и качеством выбора пула примеров. Мы также выделяем потенциальные проблемы с оценкой машинного перевода на основе LLM и предлагаем более подходящий протокол оценки, адаптируя метрику COMET для оценки LLM. Код и результаты доступны по ссылке https://github.com/ArmelRandy/ICL-MT.
English
The ability of generative large language models (LLMs) to perform in-context
learning has given rise to a large body of research into how best to prompt
models for various natural language processing tasks. In this paper, we focus
on machine translation (MT), a task that has been shown to benefit from
in-context translation examples. However no systematic studies have been
published on how best to select examples, and mixed results have been reported
on the usefulness of similarity-based selection over random selection. We
provide a study covering multiple LLMs and multiple in-context example
retrieval strategies, comparing multilingual sentence embeddings. We cover
several language directions, representing different levels of language
resourcedness (English into French, German, Swahili and Wolof). Contrarily to
previously published results, we find that sentence embedding similarity can
improve MT, especially for low-resource language directions, and discuss the
balance between selection pool diversity and quality. We also highlight
potential problems with the evaluation of LLM-based MT and suggest a more
appropriate evaluation protocol, adapting the COMET metric to the evaluation of
LLMs. Code and outputs are freely available at
https://github.com/ArmelRandy/ICL-MT.