유사도 검색을 통한 문맥별 예제 선택은 저자원 기계 번역을 개선합니다.

In-Context Example Selection via Similarity Search Improves Low-Resource Machine Translation

August 1, 2024

저자: Armel Zebaze, Benoît Sagot, Rachel Bawden

cs.AI

초록

대규모 생성 언어 모델 (LLM)의 능력은 콘텍스트 내 학습을 수행하는 능력으로 이어져, 다양한 자연어 처리 작업에 대해 모델을 가장 잘 유도하는 방법에 대한 많은 연구가 진행되었습니다. 본 논문에서는 콘텍스트 내 번역 예제의 이점이 입증된 기계 번역 (MT)에 초점을 맞춥니다. 그러나 어떻게 예제를 가장 잘 선택해야 하는지에 대한 체계적인 연구가 발표되지 않았으며, 유사성 기반 선택이 임의 선택보다 유용성에 대해 상충되는 결과가 보고되었습니다. 본 연구에서는 다양한 LLM 및 다양한 콘텍스트 내 예제 검색 전략을 비교하는 다국어 문장 임베딩을 다룹니다. 여러 언어 방향을 다루며, 언어 자원 수준이 다른 것을 대표합니다 (영어에서 프랑스어, 독일어, 스와힐리어 및 월로프로). 이전에 발표된 결과와는 달리, 문장 임베딩 유사성이 특히 자원이 제한된 언어 방향에 대해 MT를 개선할 수 있다는 것을 발견하고, 선택 풀 다양성과 품질 사이의 균형에 대해 논의합니다. 또한 LLM 기반 MT의 평가에 대한 잠재적인 문제점을 강조하고, COMET 메트릭을 LLM의 평가에 적합하게 적용하는 더 적절한 평가 프로토콜을 제안합니다. 코드 및 결과물은 https://github.com/ArmelRandy/ICL-MT에서 무료로 제공됩니다.

English

The ability of generative large language models (LLMs) to perform in-context learning has given rise to a large body of research into how best to prompt models for various natural language processing tasks. In this paper, we focus on machine translation (MT), a task that has been shown to benefit from in-context translation examples. However no systematic studies have been published on how best to select examples, and mixed results have been reported on the usefulness of similarity-based selection over random selection. We provide a study covering multiple LLMs and multiple in-context example retrieval strategies, comparing multilingual sentence embeddings. We cover several language directions, representing different levels of language resourcedness (English into French, German, Swahili and Wolof). Contrarily to previously published results, we find that sentence embedding similarity can improve MT, especially for low-resource language directions, and discuss the balance between selection pool diversity and quality. We also highlight potential problems with the evaluation of LLM-based MT and suggest a more appropriate evaluation protocol, adapting the COMET metric to the evaluation of LLMs. Code and outputs are freely available at https://github.com/ArmelRandy/ICL-MT.