System-Level Feedback in natürlicher Sprache

System-Level Natural Language Feedback

June 23, 2023

Autoren: Weizhe Yuan, Kyunghyun Cho, Jason Weston

cs.AI

Zusammenfassung

Natürliche Sprachfeedback (NL-Feedback) enthält wertvolle Informationen über das Nutzererlebnis. Bisherige Studien konzentrieren sich auf einen instanzbasierten Ansatz, bei dem Feedback zur Verbesserung spezifischer Beispiele verwendet wird, während seine systemweite Anwendung vernachlässigt wird. Dieses Papier schlägt einen allgemeinen Rahmen vor, um die systemweite Nutzung von NL-Feedback zu ermöglichen. Wir zeigen, wie Feedback genutzt werden kann, um systemweite Designentscheidungen in einem Human-in-the-Loop-Prozess zu formalisieren – mit dem Ziel, bessere Modelle zu entwickeln. Dies geschieht insbesondere durch: (i) die Gestaltung von Metriken für Aufgaben und (ii) die Gestaltung von Prompt-Designs für Sprachmodelle, um Modellantworten zu verfeinern. Wir führen zwei Fallstudien durch, die diesen Ansatz zur Verbesserung der Suchanfragenerstellung und der Dialogantwortgenerierung demonstrieren und die Wirksamkeit der systemweiten Feedbacknutzung belegen. Wir zeigen, dass die Kombination von systemweitem Feedback und instanzbasiertem Feedback weitere Verbesserungen bringt und dass von Menschen verfasstes instanzbasiertes Feedback fundiertere Verfeinerungen ermöglicht als von GPT-3.5 generiertes Feedback. Dies unterstreicht die Bedeutung menschlichen Feedbacks für den Aufbau von Systemen.

English

Natural language (NL) feedback contains rich information about the user experience. Existing studies focus on an instance-level approach, where feedback is used to refine specific examples, disregarding its system-wide application. This paper proposes a general framework for unlocking the system-level use of NL feedback. We show how to use feedback to formalize system-level design decisions in a human-in-the-loop-process -- in order to produce better models. In particular this is done through: (i) metric design for tasks; and (ii) language model prompt design for refining model responses. We conduct two case studies of this approach for improving search query generation and dialog response generation, demonstrating the effectiveness of the use of system-level feedback. We show the combination of system-level feedback and instance-level feedback brings further gains, and that human written instance-level feedback results in more grounded refinements than GPT-3.5 written ones, underlying the importance of human feedback for building systems.