파라미터 효율적 튜닝을 통한 LLM의 확장 가능한 개인화: 약어 확장 사례 연구

초록

약어 확장은 입력량을 줄이고 언어 모델을 사용해 확장 제안을 함으로써 의사소통 속도를 높이는 전략입니다. 본 연구에서는 특히 사용자 데이터가 적은 경우(~1000개 샘플) 이전 대화를 기반으로 대형 언어 모델(LLM)의 제안을 개인화하여 예측의 관련성을 높이는 방법을 살펴봅니다. 구체적으로, 약어 입력에 대한 확장 텍스트 제안을 위해 미세 조정(fine-tuning), 프롬프트 조정(prompt-tuning), 그리고 검색 강화 생성(retrieval augmented generation)을 비교합니다. ALS 환자 실 사용자를 대상으로 배포된 80억 파라미터 LLM 사례 연구와 영화 캐릭터 개인화 실험 결과는 다음과 같습니다: (1) 일부 시나리오에서는 개인화가 필요할 수 있으며, 프롬프트 조정이 이러한 경우에 잘 일반화됨, (2) 도메인 내 데이터(600개 샘플만으로도)에 대한 미세 조정은 여전히 일부 개선을 보이지만, (3) 검색 강화 소수 샷 선택(few-shot selection)이 미세 조정을 능가함, (4) 파라미터 효율적 조정은 효율적이고 확장 가능한 개인화를 가능하게 함. 또한 프롬프트 조정의 경우, 학습된 "소프트 프롬프트"를 사용자 관련 개념 토큰으로 초기화하면 무작위 초기화보다 정확도가 높아짐을 발견했습니다.

English

Abbreviation expansion is a strategy used to speed up communication by limiting the amount of typing and using a language model to suggest expansions. Here we look at personalizing a Large Language Model's (LLM) suggestions based on prior conversations to enhance the relevance of predictions, particularly when the user data is small (~1000 samples). Specifically, we compare fine-tuning, prompt-tuning, and retrieval augmented generation of expanded text suggestions for abbreviated inputs. Our case study with a deployed 8B parameter LLM on a real user living with ALS, and experiments on movie character personalization indicates that (1) customization may be necessary in some scenarios and prompt-tuning generalizes well to those, (2) fine-tuning on in-domain data (with as few as 600 samples) still shows some gains, however (3) retrieval augmented few-shot selection also outperforms fine-tuning. (4) Parameter efficient tuning allows for efficient and scalable personalization. For prompt-tuning, we also find that initializing the learned "soft-prompts" to user relevant concept tokens leads to higher accuracy than random initialization.

파라미터 효율적 튜닝을 통한 LLM의 확장 가능한 개인화: 약어 확장 사례 연구

Parameter Efficient Tuning Allows Scalable Personalization of LLMs for Text Entry: A Case Study on Abbreviation Expansion

초록

Support