システムレベル自然言語フィードバック
System-Level Natural Language Feedback
June 23, 2023
著者: Weizhe Yuan, Kyunghyun Cho, Jason Weston
cs.AI
要旨
自然言語（NL）フィードバックは、ユーザー体験に関する豊富な情報を含んでいます。既存の研究は、フィードバックを特定の事例の改善に利用するインスタンスレベルアプローチに焦点を当てており、システム全体への適用を軽視しています。本論文では、NLフィードバックをシステムレベルで活用するための一般的なフレームワークを提案します。我々は、フィードバックを用いてシステムレベルの設計判断を人間をループに組み込んだプロセスで形式化し、より優れたモデルを生成する方法を示します。特に、これは以下の2つの方法を通じて行われます：（i）タスクのためのメトリック設計、（ii）モデル応答を改善するための言語モデルのプロンプト設計。本アプローチの有効性を実証するため、検索クエリ生成と対話応答生成の2つのケーススタディを実施しました。システムレベルフィードバックとインスタンスレベルフィードバックを組み合わせることでさらなる改善が得られること、また、GPT-3.5が生成したフィードバックよりも人間が書いたインスタンスレベルフィードバックの方がより根拠のある改善をもたらすことを示し、システム構築における人間のフィードバックの重要性を強調します。
English
Natural language (NL) feedback contains rich information about the user
experience. Existing studies focus on an instance-level approach, where
feedback is used to refine specific examples, disregarding its system-wide
application. This paper proposes a general framework for unlocking the
system-level use of NL feedback. We show how to use feedback to formalize
system-level design decisions in a human-in-the-loop-process -- in order to
produce better models. In particular this is done through: (i) metric design
for tasks; and (ii) language model prompt design for refining model responses.
We conduct two case studies of this approach for improving search query
generation and dialog response generation, demonstrating the effectiveness of
the use of system-level feedback. We show the combination of system-level
feedback and instance-level feedback brings further gains, and that human
written instance-level feedback results in more grounded refinements than
GPT-3.5 written ones, underlying the importance of human feedback for building
systems.