Buscando agujas en un pajar: Sobre el papel del bilingüismo incidental en la capacidad de traducción de PaLM
Searching for Needles in a Haystack: On the Role of Incidental Bilingualism in PaLM's Translation Capability
May 17, 2023
Autores: Eleftheria Briakou, Colin Cherry, George Foster
cs.AI
Resumen
Los grandes modelos de lenguaje multilingüe exhiben capacidades sorprendentemente buenas de traducción automática en escenarios de cero o pocos ejemplos, a pesar de no haber sido expuestos intencionalmente a los ejemplos de traducción que se proporcionan típicamente a los sistemas de traducción neuronal. Investigamos el papel del bilingüismo incidental —el consumo no intencional de señales bilingües, incluidos ejemplos de traducción— para explicar las capacidades de traducción de los grandes modelos de lenguaje, tomando como caso de estudio el modelo Pathways Language Model (PaLM). Introducimos un enfoque de métodos mixtos para medir y comprender el bilingüismo incidental a gran escala. Demostramos que PaLM está expuesto a más de 30 millones de pares de traducción en al menos 44 idiomas. Además, la cantidad de contenido bilingüe incidental está altamente correlacionada con la cantidad de contenido monolingüe en el mismo idioma para lenguas no inglesas. Relacionamos el contenido bilingüe incidental con los prompts de cero ejemplos y mostramos que puede utilizarse para extraer nuevos prompts que mejoren la calidad de la traducción de cero ejemplos de PaLM desde el inglés. Finalmente, en una serie de ablaciones a pequeña escala, demostramos que la presencia de este contenido tiene un impacto sustancial en las capacidades de traducción, aunque este impacto disminuye con la escala del modelo.
English
Large, multilingual language models exhibit surprisingly good zero- or
few-shot machine translation capabilities, despite having never seen the
intentionally-included translation examples provided to typical neural
translation systems. We investigate the role of incidental bilingualism -- the
unintentional consumption of bilingual signals, including translation examples
-- in explaining the translation capabilities of large language models, taking
the Pathways Language Model (PaLM) as a case study. We introduce a mixed-method
approach to measure and understand incidental bilingualism at scale. We show
that PaLM is exposed to over 30 million translation pairs across at least 44
languages. Furthermore, the amount of incidental bilingual content is highly
correlated with the amount of monolingual in-language content for non-English
languages. We relate incidental bilingual content to zero-shot prompts and show
that it can be used to mine new prompts to improve PaLM's out-of-English
zero-shot translation quality. Finally, in a series of small-scale ablations,
we show that its presence has a substantial impact on translation capabilities,
although this impact diminishes with model scale.