Cercare un ago in un pagliaio: sul ruolo del bilinguismo incidentale nelle capacità di traduzione di PaLM

Searching for Needles in a Haystack: On the Role of Incidental Bilingualism in PaLM's Translation Capability

May 17, 2023

Autori: Eleftheria Briakou, Colin Cherry, George Foster

cs.AI

Abstract

I grandi modelli linguistici multilingue dimostrano sorprendentemente buone capacità di traduzione automatica zero-shot o few-shot, nonostante non abbiano mai visto gli esempi di traduzione intenzionalmente inclusi forniti ai tipici sistemi di traduzione neurale. Investigiamo il ruolo del bilinguismo incidentale – il consumo non intenzionale di segnali bilingui, inclusi esempi di traduzione – nello spiegare le capacità di traduzione dei grandi modelli linguistici, prendendo come caso di studio il Pathways Language Model (PaLM). Introduciamo un approccio a metodi misti per misurare e comprendere il bilinguismo incidentale su larga scala. Mostriamo che PaLM è esposto a oltre 30 milioni di coppie di traduzione in almeno 44 lingue. Inoltre, la quantità di contenuto bilingue incidentale è altamente correlata alla quantità di contenuto monolingue in lingua per le lingue non inglesi. Colleghiamo il contenuto bilingue incidentale ai prompt zero-shot e dimostriamo che può essere utilizzato per estrarre nuovi prompt per migliorare la qualità della traduzione zero-shot da PaLM dall'inglese. Infine, in una serie di ablazioni su piccola scala, mostriamo che la sua presenza ha un impatto sostanziale sulle capacità di traduzione, sebbene questo impatto diminuisca con la scala del modello.

English

Large, multilingual language models exhibit surprisingly good zero- or few-shot machine translation capabilities, despite having never seen the intentionally-included translation examples provided to typical neural translation systems. We investigate the role of incidental bilingualism -- the unintentional consumption of bilingual signals, including translation examples -- in explaining the translation capabilities of large language models, taking the Pathways Language Model (PaLM) as a case study. We introduce a mixed-method approach to measure and understand incidental bilingualism at scale. We show that PaLM is exposed to over 30 million translation pairs across at least 44 languages. Furthermore, the amount of incidental bilingual content is highly correlated with the amount of monolingual in-language content for non-English languages. We relate incidental bilingual content to zero-shot prompts and show that it can be used to mine new prompts to improve PaLM's out-of-English zero-shot translation quality. Finally, in a series of small-scale ablations, we show that its presence has a substantial impact on translation capabilities, although this impact diminishes with model scale.