대화형 에이전트에서 사용자 피드장벽 이해 및 극복을 위한 피드백 설계

초록

고품질 피드백은 효과적인 인간-AI 상호작용에 필수적입니다. 이는 지식 격차를 해소하고, 주제에서 벗어난 내용을 수정하며, 상호작용 중 및 모델 개발 전반에 걸쳐 시스템 행동을 형성합니다. 그러나 그 중요성에도 불구하고, AI에 제공되는 인간의 피드백은 빈도가 낮고 질이 떨어지는 경우가 많습니다. 이러한 격차는 AI와의 상호작용 중 발생하는 인간 피드백에 대한 비판적 검토를 필요로 합니다. 사용자가 고품질 피드백을 제공하지 못하게 하는 어려움을 이해하고 극복하기 위해, 우리는 인간과 대화형 에이전트 간의 피드백 역학을 조사하는 두 가지 연구를 수행했습니다. 우리의 예비 연구는 그라이스의 대화 격률 관점을 통해 사용자의 고품질 피드백을 방해하는 네 가지 피드백 장벽(공통 기반, 검증 가능성, 의사소통, 정보성)을 확인했습니다. 이러한 결과를 바탕으로 세 가지 설계 요건을 도출했으며, 이러한 요건에 부합하는 지원 체계를 갖춘 시스템이 사용자로 하여금 더 높은 품질의 피드백을 제공할 수 있게 했음을 보여줍니다. 마지막으로, 피드백 장벽을 극복하기 위한 대규모 언어 모델 능력의 발전을 위해 더 넓은 AI 커뮤니티에 행동을 촉구하는 내용을 상세히 설명합니다.

English

High-quality feedback is essential for effective human-AI interaction. It bridges knowledge gaps, corrects digressions, and shapes system behavior; both during interaction and throughout model development. Yet despite its importance, human feedback to AI is often infrequent and low quality. This gap motivates a critical examination of human feedback during interactions with AIs. To understand and overcome the challenges preventing users from giving high-quality feedback, we conducted two studies examining feedback dynamics between humans and conversational agents (CAs). Our formative study, through the lens of Grice's maxims, identified four Feedback Barriers -- Common Ground, Verifiability, Communication, and Informativeness -- that prevent high-quality feedback by users. Building on these findings, we derive three design desiderata and show that systems incorporating scaffolds aligned with these desiderata enabled users to provide higher-quality feedback. Finally, we detail a call for action to the broader AI community for advances in Large Language Models capabilities to overcome Feedback Barriers.

대화형 에이전트에서 사용자 피드장벽 이해 및 극복을 위한 피드백 설계

Feedback by Design: Understanding and Overcoming User Feedback Barriers in Conversational Agents

초록

Support