Feedback a Livello di Sistema in Linguaggio Naturale

System-Level Natural Language Feedback

June 23, 2023

Autori: Weizhe Yuan, Kyunghyun Cho, Jason Weston

cs.AI

Abstract

Il feedback in linguaggio naturale (NL) contiene informazioni preziose sull'esperienza dell'utente. Gli studi esistenti si concentrano su un approccio a livello di istanza, in cui il feedback viene utilizzato per affinare esempi specifici, trascurando la sua applicazione a livello di sistema. Questo articolo propone un framework generale per sfruttare l'uso del feedback NL a livello di sistema. Mostriamo come utilizzare il feedback per formalizzare decisioni di progettazione a livello di sistema in un processo con l'uomo nel ciclo (human-in-the-loop), al fine di produrre modelli migliori. In particolare, ciò avviene attraverso: (i) la progettazione di metriche per i task; e (ii) la progettazione di prompt per modelli linguistici per affinare le risposte del modello. Condividiamo due casi di studio di questo approccio per migliorare la generazione di query di ricerca e la generazione di risposte dialogiche, dimostrando l'efficacia dell'uso del feedback a livello di sistema. Mostriamo che la combinazione di feedback a livello di sistema e feedback a livello di istanza porta ulteriori miglioramenti, e che il feedback scritto da esseri umani a livello di istanza produce affinamenti più solidi rispetto a quelli scritti da GPT-3.5, sottolineando l'importanza del feedback umano per la costruzione di sistemi.

English

Natural language (NL) feedback contains rich information about the user experience. Existing studies focus on an instance-level approach, where feedback is used to refine specific examples, disregarding its system-wide application. This paper proposes a general framework for unlocking the system-level use of NL feedback. We show how to use feedback to formalize system-level design decisions in a human-in-the-loop-process -- in order to produce better models. In particular this is done through: (i) metric design for tasks; and (ii) language model prompt design for refining model responses. We conduct two case studies of this approach for improving search query generation and dialog response generation, demonstrating the effectiveness of the use of system-level feedback. We show the combination of system-level feedback and instance-level feedback brings further gains, and that human written instance-level feedback results in more grounded refinements than GPT-3.5 written ones, underlying the importance of human feedback for building systems.