Trans-Tokenisatie en Cross-linguale Vocabulaire Overdrachten: Taaladaptatie van LLM's voor Low-Resource NLP

Trans-Tokenization and Cross-lingual Vocabulary Transfers: Language Adaptation of LLMs for Low-Resource NLP

August 8, 2024

Auteurs: François Remy, Pieter Delobelle, Hayastan Avetisyan, Alfiya Khabibullina, Miryam de Lhoneux, Thomas Demeester

cs.AI

Samenvatting

De ontwikkeling van eentalige taalmodel(len) voor talen met weinig en gemiddelde middelen wordt nog steeds belemmerd door de moeilijkheid om hoogwaardige trainingsdata te verkrijgen. In deze studie presenteren we een nieuwe strategie voor cross-linguale vocabulaireoverdracht, trans-tokenisatie, die is ontworpen om deze uitdaging aan te pakken en efficiëntere taaladaptatie mogelijk te maken. Onze aanpak richt zich op het aanpassen van een eentalig taalmodel met veel middelen aan een onbekende doeltaal door de token-embeddings van de doeltaal te initialiseren met een gewogen gemiddelde van semantisch vergelijkbare token-embeddings uit de brontaal. Hiervoor maken we gebruik van een vertaalresource die zowel de brontaal als de doeltaal omvat. We valideren onze methode met de Tweeties, een reeks trans-getokeniseerde taalmodel(len), en tonen hun competitieve prestaties aan bij verschillende downstream taken over een kleine maar diverse set talen. Daarnaast introduceren we Hydra-taalmodel(len), modellen met meerdere verwisselbare taalmodelleringskoppen en embeddingtabellen, die de mogelijkheden van onze trans-tokenisatiestrategie verder uitbreiden. Door een Hydra-taalmodel te ontwerpen op basis van het meertalige model TowerInstruct, ontwikkelden we een state-of-the-art machinevertaalmodel voor Tataars, op een zero-shot manier, waarbij de behoefte aan hoogwaardige parallelle data volledig wordt omzeild. Deze doorbraak is vooral significant voor talen met weinig middelen zoals Tataars, waar hoogwaardige parallelle data schaars is. Door de data- en tijdvereisten voor het trainen van hoogwaardige modellen te verlagen, maakt onze trans-tokenisatiestrategie de ontwikkeling van taalmodel(len) voor een breder scala aan talen mogelijk, vooral voor die met beperkte middelen. We hopen dat ons werk verder onderzoek en samenwerking op het gebied van cross-linguale vocabulaireoverdracht zal inspireren en bijdraagt aan de empowerment van talen op wereldwijde schaal.

English

The development of monolingual language models for low and mid-resource languages continues to be hindered by the difficulty in sourcing high-quality training data. In this study, we present a novel cross-lingual vocabulary transfer strategy, trans-tokenization, designed to tackle this challenge and enable more efficient language adaptation. Our approach focuses on adapting a high-resource monolingual LLM to an unseen target language by initializing the token embeddings of the target language using a weighted average of semantically similar token embeddings from the source language. For this, we leverage a translation resource covering both the source and target languages. We validate our method with the Tweeties, a series of trans-tokenized LLMs, and demonstrate their competitive performance on various downstream tasks across a small but diverse set of languages. Additionally, we introduce Hydra LLMs, models with multiple swappable language modeling heads and embedding tables, which further extend the capabilities of our trans-tokenization strategy. By designing a Hydra LLM based on the multilingual model TowerInstruct, we developed a state-of-the-art machine translation model for Tatar, in a zero-shot manner, completely bypassing the need for high-quality parallel data. This breakthrough is particularly significant for low-resource languages like Tatar, where high-quality parallel data is hard to come by. By lowering the data and time requirements for training high-quality models, our trans-tokenization strategy allows for the development of LLMs for a wider range of languages, especially those with limited resources. We hope that our work will inspire further research and collaboration in the field of cross-lingual vocabulary transfer and contribute to the empowerment of languages on a global scale.