Die Suche nach der Nadel im Heuhaufen: Zur Rolle der zufälligen Zweisprachigkeit in der Übersetzungsfähigkeit von PaLM

Searching for Needles in a Haystack: On the Role of Incidental Bilingualism in PaLM's Translation Capability

May 17, 2023

Autoren: Eleftheria Briakou, Colin Cherry, George Foster

cs.AI

Zusammenfassung

Große, mehrsprachige Sprachmodelle zeigen überraschend gute Zero- oder Few-Shot-Maschinelle-Übersetzungsfähigkeiten, obwohl sie nie die absichtlich eingebrachten Übersetzungsbeispiele gesehen haben, die typischen neuronalen Übersetzungssystemen bereitgestellt werden. Wir untersuchen die Rolle von zufälliger Zweisprachigkeit – der unbeabsichtigten Aufnahme von zweisprachigen Signalen, einschließlich Übersetzungsbeispielen – bei der Erklärung der Übersetzungsfähigkeiten großer Sprachmodelle, wobei wir das Pathways Language Model (PaLM) als Fallstudie heranziehen. Wir führen einen Mixed-Method-Ansatz ein, um zufällige Zweisprachigkeit in großem Maßstab zu messen und zu verstehen. Wir zeigen, dass PaLM über 30 Millionen Übersetzungspaare in mindestens 44 Sprachen ausgesetzt ist. Darüber hinaus ist die Menge an zufällig zweisprachigem Inhalt stark mit der Menge an monolingualem Inhalt in der jeweiligen Sprache für nicht-englische Sprachen korreliert. Wir beziehen zufällig zweisprachigen Inhalt auf Zero-Shot-Prompts und zeigen, dass er verwendet werden kann, um neue Prompts zu extrahieren, um die Zero-Shot-Übersetzungsqualität von PaLM aus dem Englischen zu verbessern. Schließlich zeigen wir in einer Reihe von kleinskaligen Ablationen, dass seine Anwesenheit einen erheblichen Einfluss auf die Übersetzungsfähigkeiten hat, obwohl dieser Einfluss mit der Modellgröße abnimmt.

English

Large, multilingual language models exhibit surprisingly good zero- or few-shot machine translation capabilities, despite having never seen the intentionally-included translation examples provided to typical neural translation systems. We investigate the role of incidental bilingualism -- the unintentional consumption of bilingual signals, including translation examples -- in explaining the translation capabilities of large language models, taking the Pathways Language Model (PaLM) as a case study. We introduce a mixed-method approach to measure and understand incidental bilingualism at scale. We show that PaLM is exposed to over 30 million translation pairs across at least 44 languages. Furthermore, the amount of incidental bilingual content is highly correlated with the amount of monolingual in-language content for non-English languages. We relate incidental bilingual content to zero-shot prompts and show that it can be used to mine new prompts to improve PaLM's out-of-English zero-shot translation quality. Finally, in a series of small-scale ablations, we show that its presence has a substantial impact on translation capabilities, although this impact diminishes with model scale.