Parameter Efficient Tuning maakt schaalbare personalisatie van LLMs mogelijk voor tekstinvoer: een casestudy over afkortingsuitbreiding

Parameter Efficient Tuning Allows Scalable Personalization of LLMs for Text Entry: A Case Study on Abbreviation Expansion

December 21, 2023

Auteurs: Katrin Tomanek, Shanqing Cai, Subhashini Venugopalan

cs.AI

Samenvatting

Afkortingen uitbreiden is een strategie die wordt gebruikt om communicatie te versnellen door de hoeveelheid typwerk te beperken en een taalmodel te gebruiken om suggesties voor uitbreidingen te geven. Hier onderzoeken we het personaliseren van suggesties van een groot taalmodel (LLM) op basis van eerdere gesprekken om de relevantie van voorspellingen te vergroten, vooral wanneer de gebruikersdata beperkt is (~1000 voorbeelden). Specifiek vergelijken we fine-tuning, prompt-tuning en retrieval-augmented generation van uitgebreide tekstsuggesties voor afgekorte invoer. Onze casestudy met een geïmplementeerd LLM van 8B parameters bij een echte gebruiker met ALS, en experimenten met personalisatie van filmpersonages, laten zien dat (1) aanpassing in sommige scenario's noodzakelijk kan zijn en prompt-tuning hier goed op generaliseert, (2) fine-tuning op domeinspecifieke data (met slechts 600 voorbeelden) nog steeds enige verbetering laat zien, maar (3) retrieval-augmented few-shot selectie ook beter presteert dan fine-tuning. (4) Parameter-efficiënte tuning maakt efficiënte en schaalbare personalisatie mogelijk. Voor prompt-tuning vinden we ook dat het initialiseren van de geleerde "soft-prompts" met gebruikersrelevante concepttokens tot een hogere nauwkeurigheid leidt dan willekeurige initialisatie.

English

Abbreviation expansion is a strategy used to speed up communication by limiting the amount of typing and using a language model to suggest expansions. Here we look at personalizing a Large Language Model's (LLM) suggestions based on prior conversations to enhance the relevance of predictions, particularly when the user data is small (~1000 samples). Specifically, we compare fine-tuning, prompt-tuning, and retrieval augmented generation of expanded text suggestions for abbreviated inputs. Our case study with a deployed 8B parameter LLM on a real user living with ALS, and experiments on movie character personalization indicates that (1) customization may be necessary in some scenarios and prompt-tuning generalizes well to those, (2) fine-tuning on in-domain data (with as few as 600 samples) still shows some gains, however (3) retrieval augmented few-shot selection also outperforms fine-tuning. (4) Parameter efficient tuning allows for efficient and scalable personalization. For prompt-tuning, we also find that initializing the learned "soft-prompts" to user relevant concept tokens leads to higher accuracy than random initialization.