Op zoek naar naalden in een hooiberg: De rol van incidentele tweetaligheid in de vertaalcapaciteit van PaLM

Searching for Needles in a Haystack: On the Role of Incidental Bilingualism in PaLM's Translation Capability

May 17, 2023

Auteurs: Eleftheria Briakou, Colin Cherry, George Foster

cs.AI

Samenvatting

Grote, meertalige taalmodellen vertonen verrassend goede zero-shot of few-shot machinevertalingen, ondanks dat ze nooit de opzettelijk toegevoegde vertaalvoorbeelden hebben gezien die typische neurale vertaalsystemen krijgen. We onderzoeken de rol van incidentele tweetaligheid — de onbedoelde blootstelling aan tweetalige signalen, inclusief vertaalvoorbeelden — bij het verklaren van de vertaalcapaciteiten van grote taalmodellen, waarbij we het Pathways Language Model (PaLM) als casestudy nemen. We introduceren een gemengde methode om incidentele tweetaligheid op grote schaal te meten en te begrijpen. We tonen aan dat PaLM wordt blootgesteld aan meer dan 30 miljoen vertaalparen in ten minste 44 talen. Bovendien is de hoeveelheid incidenteel tweetalige inhoud sterk gecorreleerd met de hoeveelheid eentalige inhoud in de betreffende taal voor niet-Engelse talen. We koppelen incidenteel tweetalige inhoud aan zero-shot prompts en laten zien dat deze kan worden gebruikt om nieuwe prompts te genereren om de zero-shot vertaalkwaliteit van PaLM uit het Engels te verbeteren. Tot slot tonen we in een reeks kleinschalige ablatiestudies aan dat de aanwezigheid ervan een aanzienlijke impact heeft op de vertaalcapaciteiten, hoewel deze impact afneemt met de schaal van het model.

English

Large, multilingual language models exhibit surprisingly good zero- or few-shot machine translation capabilities, despite having never seen the intentionally-included translation examples provided to typical neural translation systems. We investigate the role of incidental bilingualism -- the unintentional consumption of bilingual signals, including translation examples -- in explaining the translation capabilities of large language models, taking the Pathways Language Model (PaLM) as a case study. We introduce a mixed-method approach to measure and understand incidental bilingualism at scale. We show that PaLM is exposed to over 30 million translation pairs across at least 44 languages. Furthermore, the amount of incidental bilingual content is highly correlated with the amount of monolingual in-language content for non-English languages. We relate incidental bilingual content to zero-shot prompts and show that it can be used to mine new prompts to improve PaLM's out-of-English zero-shot translation quality. Finally, in a series of small-scale ablations, we show that its presence has a substantial impact on translation capabilities, although this impact diminishes with model scale.