LexC-Gen: Generazione di dati per lingue con risorse estremamente limitate utilizzando modelli linguistici di grandi dimensioni e lessici bilingui

LexC-Gen: Generating Data for Extremely Low-Resource Languages with Large Language Models and Bilingual Lexicons

February 21, 2024

Autori: Zheng-Xin Yong, Cristina Menghini, Stephen H. Bach

cs.AI

Abstract

La scarsità di dati nelle lingue a bassa risorsa può essere affrontata mediante traduzioni parola per parola da dati etichettati di task in lingue ad alta risorsa, utilizzando lessici bilingui. Tuttavia, i lessici bilingui spesso presentano una sovrapposizione lessicale limitata con i dati del task, il che si traduce in una scarsa copertura della traduzione e un basso utilizzo del lessico. Proponiamo la generazione di dati condizionata al lessico (LexC-Gen), un metodo che genera dati per task di classificazione in lingue a bassa risorsa su larga scala. Nello specifico, LexC-Gen utilizza prima parole in lingue ad alta risorsa provenienti da lessici bilingui per generare dati di task compatibili con il lessico, e poi li traduce nelle lingue a bassa risorsa tramite traduzione parola per parola utilizzando lessici bilingui. In 17 lingue estremamente a bassa risorsa, i dati generati da LexC-Gen sono competitivi rispetto ai dati gold tradotti da esperti e mostrano, in media, un miglioramento di 5,6 e 8,9 punti rispetto ai metodi esistenti di traduzione parola per parola basati su lessico, rispettivamente per task di analisi del sentiment e classificazione di argomenti. Dimostriamo che il condizionamento sui lessici bilingui è il componente chiave di LexC-Gen. LexC-Gen è anche pratico: richiede solo una singola GPU per generare dati su larga scala. Funziona bene con modelli linguistici di grandi dimensioni (LLM) ad accesso aperto, e il suo costo è un quinto rispetto alla generazione di dati multilingue basata su GPT-4.

English

Data scarcity in low-resource languages can be addressed with word-to-word translations from labeled task data in high-resource languages using bilingual lexicons. However, bilingual lexicons often have limited lexical overlap with task data, which results in poor translation coverage and lexicon utilization. We propose lexicon-conditioned data generation (LexC-Gen), a method that generates low-resource-language classification task data at scale. Specifically, LexC-Gen first uses high-resource-language words from bilingual lexicons to generate lexicon-compatible task data, and then it translates them into low-resource languages with bilingual lexicons via word translation. Across 17 extremely low-resource languages, LexC-Gen generated data is competitive with expert-translated gold data, and yields on average 5.6 and 8.9 points improvement over existing lexicon-based word translation methods on sentiment analysis and topic classification tasks respectively. We show that conditioning on bilingual lexicons is the key component of LexC-Gen. LexC-Gen is also practical -- it only needs a single GPU to generate data at scale. It works well with open-access LLMs, and its cost is one-fifth of the cost of GPT4-based multilingual data generation.