フィードバック・バイ・デザイン：対話エージェントにおけるユーザーフィードバック障壁の理解と克服

要旨

高品質なフィードバックは、効果的な人間-AI相互作用にとって不可欠である。これは知識の隔たりを埋め、脱線を修正し、相互作用の最中だけでなくモデル開発全体を通じてシステムの振る舞いを形成する。しかし、その重要性にもかかわらず、AIに対する人間のフィードバックは往々にして頻度が低く、質も低い。この隔たりが、AIとの相互作用における人間のフィードバックの批判的検討を動機づけている。ユーザーが高品質なフィードバックを提供するのを妨げる課題を理解し克服するため、我々は人間と対話エージェント（CA）間のフィードバック動態を検証する二つの研究を実施した。形成的調査では、グライスの公準を通して、ユーザーによる高品質なフィードバックを妨げる4つの「フィードバック障壁」—共通基盤、検証可能性、伝達性、情報量—を特定した。これらの知見に基づき、我々は3つの設計要請を導出し、これらの要請に沿った支援機能を組み込んだシステムが、ユーザーにより高品質なフィードバックを提供可能にしたことを示す。最後に、フィードバック障壁を克服するための大規模言語モデル能力の進歩を求める、広範なAIコミュニティへの行動喚起について詳述する。

English

High-quality feedback is essential for effective human-AI interaction. It bridges knowledge gaps, corrects digressions, and shapes system behavior; both during interaction and throughout model development. Yet despite its importance, human feedback to AI is often infrequent and low quality. This gap motivates a critical examination of human feedback during interactions with AIs. To understand and overcome the challenges preventing users from giving high-quality feedback, we conducted two studies examining feedback dynamics between humans and conversational agents (CAs). Our formative study, through the lens of Grice's maxims, identified four Feedback Barriers -- Common Ground, Verifiability, Communication, and Informativeness -- that prevent high-quality feedback by users. Building on these findings, we derive three design desiderata and show that systems incorporating scaffolds aligned with these desiderata enabled users to provide higher-quality feedback. Finally, we detail a call for action to the broader AI community for advances in Large Language Models capabilities to overcome Feedback Barriers.

フィードバック・バイ・デザイン：対話エージェントにおけるユーザーフィードバック障壁の理解と克服

Feedback by Design: Understanding and Overcoming User Feedback Barriers in Conversational Agents

要旨

Support