Tokenisierung und Cross-linguale Vokabularübertragung: Sprachanpassung von LLMs für NLP mit geringen Ressourcen

Trans-Tokenization and Cross-lingual Vocabulary Transfers: Language Adaptation of LLMs for Low-Resource NLP

August 8, 2024

Autoren: François Remy, Pieter Delobelle, Hayastan Avetisyan, Alfiya Khabibullina, Miryam de Lhoneux, Thomas Demeester

cs.AI

Zusammenfassung

Die Entwicklung von monolingualen Sprachmodellen für Sprachen mit geringen und mittleren Ressourcen wird weiterhin durch die Schwierigkeit bei der Beschaffung hochwertiger Trainingsdaten behindert. In dieser Studie präsentieren wir eine neuartige cross-linguale Vokabulartransferstrategie, die als Trans-Tokenisierung bezeichnet wird und darauf abzielt, diese Herausforderung zu bewältigen und eine effizientere Sprachanpassung zu ermöglichen. Unser Ansatz konzentriert sich darauf, ein monolinguales Sprachmodell mit hohen Ressourcen an eine unbekannte Zielsprache anzupassen, indem die Token-Einbettungen der Zielsprache durch einen gewichteten Durchschnitt semantisch ähnlicher Token-Einbettungen aus der Ausgangssprache initialisiert werden. Hierfür nutzen wir eine Übersetzungsressource, die sowohl die Ausgangs- als auch die Zielsprache abdeckt. Wir validieren unsere Methode mit den Tweeties, einer Reihe von trans-tokenisierten Sprachmodellen, und zeigen deren Wettbewerbsfähigkeit bei verschiedenen nachgelagerten Aufgaben in einer kleinen, aber vielfältigen Sprachenvielfalt. Darüber hinaus führen wir Hydra Sprachmodelle ein, Modelle mit mehreren austauschbaren Sprachmodellierungsköpfen und Einbettungstabellen, die die Fähigkeiten unserer Trans-Tokenisierungsstrategie weiter ausbauen. Durch die Entwicklung eines Hydra Sprachmodells auf Basis des mehrsprachigen Modells TowerInstruct haben wir ein hochmodernes maschinelles Übersetzungsmodell für Tatar entwickelt, auf eine Null-Schuss-Weise, wobei die Notwendigkeit hochwertiger paralleler Daten vollständig umgangen wird. Dieser Durchbruch ist besonders bedeutsam für Sprachen mit geringen Ressourcen wie Tatar, wo hochwertige parallele Daten schwer zu beschaffen sind. Indem wir die Daten- und Zeitanforderungen für das Training hochwertiger Modelle senken, ermöglicht unsere Trans-Tokenisierungsstrategie die Entwicklung von Sprachmodellen für eine breitere Palette von Sprachen, insbesondere für solche mit begrenzten Ressourcen. Wir hoffen, dass unsere Arbeit weitere Forschung und Zusammenarbeit auf dem Gebiet des cross-lingualen Vokabulartransfers anregen und zur Stärkung von Sprachen auf globaler Ebene beitragen wird.

English

The development of monolingual language models for low and mid-resource languages continues to be hindered by the difficulty in sourcing high-quality training data. In this study, we present a novel cross-lingual vocabulary transfer strategy, trans-tokenization, designed to tackle this challenge and enable more efficient language adaptation. Our approach focuses on adapting a high-resource monolingual LLM to an unseen target language by initializing the token embeddings of the target language using a weighted average of semantically similar token embeddings from the source language. For this, we leverage a translation resource covering both the source and target languages. We validate our method with the Tweeties, a series of trans-tokenized LLMs, and demonstrate their competitive performance on various downstream tasks across a small but diverse set of languages. Additionally, we introduce Hydra LLMs, models with multiple swappable language modeling heads and embedding tables, which further extend the capabilities of our trans-tokenization strategy. By designing a Hydra LLM based on the multilingual model TowerInstruct, we developed a state-of-the-art machine translation model for Tatar, in a zero-shot manner, completely bypassing the need for high-quality parallel data. This breakthrough is particularly significant for low-resource languages like Tatar, where high-quality parallel data is hard to come by. By lowering the data and time requirements for training high-quality models, our trans-tokenization strategy allows for the development of LLMs for a wider range of languages, especially those with limited resources. We hope that our work will inspire further research and collaboration in the field of cross-lingual vocabulary transfer and contribute to the empowerment of languages on a global scale.