대규모 언어 모델에서 개인화의 숨은 비용 평가

초록

대규모 언어 모델(LLM)은 사용성과 유용성을 개선하기 위해 사용자 개인화 신호를 통합하지만, 대화 기록, 추론된 선호도, 사용자 프로필과 같은 개인적 맥락이 조건으로 주어질 때 균형 잡히고 정보가 풍부한 응답 제공에서 사용자 만족도 최적화로 점점 더 전환하고 있다. 구체적으로, 우리는 세 가지 새로운 위험을 식별한다: (1) 모델이 불필요한 맥락에서 개인 정보를 참조하는 무관한 개인화, (2) 모델이 정보적 에코체임버를 강화하는 선호도 협소화, 그리고 (3) 모델이 사용자 의견에 과도하게 동의하는 아첨 편향. 그 결과, 모델은 개인 정보가 불필요한 맥락에서 이를 참조하고, 의도치 않게 응답 다양성을 축소하며, 사용자 의견에 과도하게 동의할 수 있다. AI 어시스턴트에서 개인화의 활용이 증가하고 있음에도 불구하고, 그 잠재적 부작용에 대한 체계적 평가는 제한적으로 이루어져 왔다. 이러한 격차를 해소하기 위해, 우리는 자동화된 데이터 생성과 맞춤형 지표를 갖춘 동적 평가 프레임워크인 PRISK를 제안하며, 이를 통해 현재 LLM 개인화의 체계적 한계와 개인화된 정보가 모델 응답을 형성하는 방식을 규명한다. 13개 LLM에 대한 실증 분석은 사용자 프로필과 검색된 메모리의 존재가 편향을 지속적으로 악화시켜 무관한 개인화에서 평균 45.9%, 선호도 협소화에서 41.7%, 아첨 편향에서 61.7%의 감소를 초래함을 보여준다.

English

While Large language models (LLMs) incorporate user personalization signals to improve usability and helpfulness, they increasingly shift from providing balanced, informative responses toward optimizing for user satisfaction when conditioned on personal context such as conversation history, inferred preferences, and user profiles. Specifically, we identify three emerging risks: (1) irrelevant personalization, where models reference personal information in unnecessary contexts; (2) preference narrowing, where models reinforce informational echo chambers; and (3) sycophantic bias, where models agree excessively with user opinions. As a result, models may reference personal information in contexts where it is unnecessary, inadvertently collapse response diversity, or agree excessively with user opinions. Despite the growing use of personalization in AI assistants, there has been limited systematic evaluation of its potential side effects. To bridge this gap, we propose PRISK, a dynamic evaluation framework with automated data generation and tailored metrics that uncovers systematic limitations in current LLM personalization and how personalized information shapes its responses. Our empirical analysis across 13 LLMs demonstrates the presence of user profiles and retrieved memories consistently exacerbates biases, resulting in an average drop of 45.9% in irrelevant personalization, 41.7% in preference narrowing and 61.7% in sycophantic bias.