LACoS-BLOOM: Laagrangige aanpassing met contrastief doel op 8 bits Siamese-BLOOM

LACoS-BLOOM: Low-rank Adaptation with Contrastive objective on 8 bits Siamese-BLOOM

May 10, 2023

Auteurs: Wen-Yu Hua, Brian Williams, Davood Shamsi

cs.AI

Samenvatting

Tekst-embeddings zijn nuttige kenmerken voor verschillende NLP-toepassingen, zoals zinsgelijkheid, tekstclustering en semantisch zoeken. In dit artikel presenteren we een Low-rank Adaptation met een contrastief doel bovenop een 8-bit Siamese-BLOOM, een meertalig groot taalmodel dat is geoptimaliseerd om semantisch betekenisvolle woord-embeddings te produceren. De innovatie is drievoudig. Ten eerste converteren we de BLOOM-gewichten naar 8-bit waarden. Ten tweede fine-tunen we BLOOM met een schaalbare adapter (LoRA) en een 8-bit Adam-optimalisator voor zinsgelijkheidsclassificatie. Ten derde passen we een Siamese-architectuur toe op het BLOOM-model met een contrastief doel om het tekort aan meertalige gelabelde gegevens te verlichten. De experimentele resultaten tonen aan dat de kwaliteit van de geleerde embeddings van LACoS-BLOOM evenredig is met het aantal modelparameters en de hoeveelheid ongelabelde trainingsgegevens. Met het parameter-efficiënte fine-tuning-ontwerp kunnen we BLOOM met 7,1 miljard parameters end-to-end uitvoeren op een enkele GPU-machine met 32GB geheugen. In vergelijking met de vorige oplossing Sentence-BERT behalen we een aanzienlijke verbetering op zowel Engelse als meertalige STS-taken.

English

Text embeddings are useful features for several NLP applications, such as sentence similarity, text clustering, and semantic search. In this paper, we present a Low-rank Adaptation with a Contrastive objective on top of 8-bit Siamese-BLOOM, a multilingual large language model optimized to produce semantically meaningful word embeddings. The innovation is threefold. First, we cast BLOOM weights to 8-bit values. Second, we fine-tune BLOOM with a scalable adapter (LoRA) and 8-bit Adam optimizer for sentence similarity classification. Third, we apply a Siamese architecture on BLOOM model with a contrastive objective to ease the multi-lingual labeled data scarcity. The experiment results show the quality of learned embeddings from LACoS-BLOOM is proportional to the number of model parameters and the amount of unlabeled training data. With the parameter efficient fine-tuning design, we are able to run BLOOM 7.1 billion parameters end-to-end on a single GPU machine with 32GB memory. Compared to previous solution Sentence-BERT, we achieve significant improvement on both English and multi-lingual STS tasks.