장기적 협력을 위한 상호작용 기반 사용자 선호도 학습

초록

사용자와의 협력 경험이 축적됨에 따라, 대화 에이전트가 사용자 선호도에 적응하는 것은 장기적 관계 구축과 협력 품질 향상을 위해 필수적입니다. 본 연구에서는 다중 세션에 걸쳐 에이전트가 사용자 선호도를 학습하고 이를 활용하여 협력 품질을 향상시키는 능력을 평가하는 벤치마크인 MultiSessionCollab를 소개합니다. 이러한 환경에서 성공적인 에이전트를 개발하기 위해, 상호작용 경험이 누적됨에 따라 사용자 선호도를 지속적으로 유지 및 정제하는 메모리를 갖춘 장기 협력 에이전트를 제안합니다. 더 나아가 MultiSessionCollab 내 사용자 시뮬레이터 행동에서 학습 신호를 도출하여 에이전트가 보다 포괄적인 성찰을 생성하고 메모리를 더 효과적으로 업데이트하도록 훈련시킬 수 있음을 보여줍니다. 광범위한 실험을 통해 메모리를 탑재한 에이전트가 장기적 협력을 개선하여 더 높은 작업 성공률, 더 효율적인 상호작용, 감소된 사용자 노력으로 이어짐을 확인했습니다. 마지막으로 실제 환경에서 메모리가 사용자 경험 향상에 도움을 준다는 것을 입증하는 인간 사용자 연구를 수행합니다.

English

As conversational agents accumulate experience collaborating with users, adapting to user preferences is essential for fostering long-term relationships and improving collaboration quality over time. We introduce MultiSessionCollab, a benchmark that evaluates how well agents can learn user preferences and leverage them to improve collaboration quality throughout multiple sessions. To develop agents that succeed in this setting, we present long-term collaborative agents equipped with a memory that persists and refines user preference as interaction experience accumulates. Moreover, we demonstrate that learning signals can be derived from user simulator behavior in MultiSessionCollab to train agents to generate more comprehensive reflections and update their memory more effectively. Extensive experiments show that equipping agents with memory improves long-term collaboration, yielding higher task success rates, more efficient interactions, and reduced user effort. Finally, we conduct a human user study that demonstrates that memory helps improve user experience in real-world settings.

장기적 협력을 위한 상호작용 기반 사용자 선호도 학습

Learning User Preferences Through Interaction for Long-Term Collaboration

초록

Support