Procurando Agulhas em um Palheiro: Sobre o Papel do Bilinguismo Incidental na Capacidade de Tradução do PaLM

Searching for Needles in a Haystack: On the Role of Incidental Bilingualism in PaLM's Translation Capability

May 17, 2023

Autores: Eleftheria Briakou, Colin Cherry, George Foster

cs.AI

Resumo

Modelos de linguagem grandes e multilíngues exibem capacidades surpreendentemente boas de tradução automática zero-shot ou few-shot, apesar de nunca terem visto os exemplos de tradução intencionalmente incluídos fornecidos aos sistemas típicos de tradução neural. Investigamos o papel do bilinguismo incidental -- o consumo não intencional de sinais bilíngues, incluindo exemplos de tradução -- na explicação das capacidades de tradução de grandes modelos de linguagem, tomando o Pathways Language Model (PaLM) como estudo de caso. Introduzimos uma abordagem de métodos mistos para medir e compreender o bilinguismo incidental em escala. Mostramos que o PaLM é exposto a mais de 30 milhões de pares de tradução em pelo menos 44 idiomas. Além disso, a quantidade de conteúdo bilíngue incidental está altamente correlacionada com a quantidade de conteúdo monolíngue no idioma para línguas não inglesas. Relacionamos o conteúdo bilíngue incidental a prompts zero-shot e mostramos que ele pode ser usado para minerar novos prompts para melhorar a qualidade da tradução zero-shot do PaLM para fora do inglês. Finalmente, em uma série de ablações em pequena escala, mostramos que sua presença tem um impacto substancial nas capacidades de tradução, embora esse impacto diminua com a escala do modelo.

English

Large, multilingual language models exhibit surprisingly good zero- or few-shot machine translation capabilities, despite having never seen the intentionally-included translation examples provided to typical neural translation systems. We investigate the role of incidental bilingualism -- the unintentional consumption of bilingual signals, including translation examples -- in explaining the translation capabilities of large language models, taking the Pathways Language Model (PaLM) as a case study. We introduce a mixed-method approach to measure and understand incidental bilingualism at scale. We show that PaLM is exposed to over 30 million translation pairs across at least 44 languages. Furthermore, the amount of incidental bilingual content is highly correlated with the amount of monolingual in-language content for non-English languages. We relate incidental bilingual content to zero-shot prompts and show that it can be used to mine new prompts to improve PaLM's out-of-English zero-shot translation quality. Finally, in a series of small-scale ablations, we show that its presence has a substantial impact on translation capabilities, although this impact diminishes with model scale.