干し草の山から針を探す：PaLMの翻訳能力における偶発的バイリンガリズムの役割

Searching for Needles in a Haystack: On the Role of Incidental Bilingualism in PaLM's Translation Capability

May 17, 2023

著者: Eleftheria Briakou, Colin Cherry, George Foster

cs.AI

要旨

大規模な多言語言語モデルは、典型的なニューラル翻訳システムに意図的に提供される翻訳例を一度も見たことがないにもかかわらず、驚くほど優れたゼロショットまたは少数ショットの機械翻訳能力を示します。本研究では、大規模言語モデルの翻訳能力を説明するために、偶発的な二言語性（翻訳例を含む二言語信号の意図せぬ摂取）の役割を、Pathways Language Model（PaLM）をケーススタディとして調査します。大規模な偶発的二言語性を測定し理解するための混合手法を導入します。PaLMが少なくとも44言語にわたって3000万以上の翻訳ペアにさらされていることを示します。さらに、非英語言語における偶発的二言語コンテンツの量は、その言語の単一言語コンテンツの量と高い相関関係にあります。偶発的二言語コンテンツをゼロショットプロンプトに関連付け、PaLMの英語からのゼロショット翻訳品質を向上させるための新しいプロンプトをマイニングするために使用できることを示します。最後に、一連の小規模なアブレーション実験を通じて、偶発的二言語性の存在が翻訳能力に大きな影響を与えるものの、その影響はモデル規模が大きくなるにつれて減少することを示します。

English

Large, multilingual language models exhibit surprisingly good zero- or few-shot machine translation capabilities, despite having never seen the intentionally-included translation examples provided to typical neural translation systems. We investigate the role of incidental bilingualism -- the unintentional consumption of bilingual signals, including translation examples -- in explaining the translation capabilities of large language models, taking the Pathways Language Model (PaLM) as a case study. We introduce a mixed-method approach to measure and understand incidental bilingualism at scale. We show that PaLM is exposed to over 30 million translation pairs across at least 44 languages. Furthermore, the amount of incidental bilingual content is highly correlated with the amount of monolingual in-language content for non-English languages. We relate incidental bilingual content to zero-shot prompts and show that it can be used to mine new prompts to improve PaLM's out-of-English zero-shot translation quality. Finally, in a series of small-scale ablations, we show that its presence has a substantial impact on translation capabilities, although this impact diminishes with model scale.