Эффективная настройка параметров обеспечивает масштабируемую персонализацию крупных языковых моделей для ввода текста: исследование на примере расширения сокращений

Parameter Efficient Tuning Allows Scalable Personalization of LLMs for Text Entry: A Case Study on Abbreviation Expansion

December 21, 2023

Авторы: Katrin Tomanek, Shanqing Cai, Subhashini Venugopalan

cs.AI

Аннотация

Расширение сокращений — это стратегия, направленная на ускорение коммуникации за счет уменьшения объема набора текста и использования языковой модели для предложения расширений. В данной работе мы рассматриваем персонализацию предложений крупной языковой модели (LLM) на основе предыдущих диалогов для повышения релевантности предсказаний, особенно когда объем пользовательских данных невелик (~1000 примеров). В частности, мы сравниваем тонкую настройку, настройку через промпты и генерацию с использованием извлеченных данных для предложения расширений сокращенных вводов. Наше кейс-исследование с развернутой LLM на 8 миллиардов параметров у реального пользователя с БАС, а также эксперименты с персонализацией на основе персонажей фильмов показывают, что (1) в некоторых сценариях может потребоваться кастомизация, и настройка через промпты хорошо справляется с этой задачей, (2) тонкая настройка на данных из целевой области (даже с 600 примерами) все же приносит некоторый выигрыш, однако (3) генерация с использованием извлеченных данных в режиме few-shot также превосходит тонкую настройку. (4) Эффективная по параметрам настройка позволяет реализовать масштабируемую персонализацию. Для настройки через промпты мы также обнаружили, что инициализация обучаемых "мягких промптов" токенами, релевантными пользователю, приводит к более высокой точности, чем случайная инициализация.

English

Abbreviation expansion is a strategy used to speed up communication by limiting the amount of typing and using a language model to suggest expansions. Here we look at personalizing a Large Language Model's (LLM) suggestions based on prior conversations to enhance the relevance of predictions, particularly when the user data is small (~1000 samples). Specifically, we compare fine-tuning, prompt-tuning, and retrieval augmented generation of expanded text suggestions for abbreviated inputs. Our case study with a deployed 8B parameter LLM on a real user living with ALS, and experiments on movie character personalization indicates that (1) customization may be necessary in some scenarios and prompt-tuning generalizes well to those, (2) fine-tuning on in-domain data (with as few as 600 samples) still shows some gains, however (3) retrieval augmented few-shot selection also outperforms fine-tuning. (4) Parameter efficient tuning allows for efficient and scalable personalization. For prompt-tuning, we also find that initializing the learned "soft-prompts" to user relevant concept tokens leads to higher accuracy than random initialization.