Feedback de Linguagem Natural em Nível de Sistema

System-Level Natural Language Feedback

June 23, 2023

Autores: Weizhe Yuan, Kyunghyun Cho, Jason Weston

cs.AI

Resumo

O feedback em linguagem natural (LN) contém informações valiosas sobre a experiência do usuário. Estudos existentes focam em uma abordagem em nível de instância, onde o feedback é usado para refinar exemplos específicos, desconsiderando sua aplicação em todo o sistema. Este artigo propõe um framework geral para desbloquear o uso do feedback em LN em nível de sistema. Mostramos como usar o feedback para formalizar decisões de design em nível de sistema em um processo com o humano no loop — com o objetivo de produzir modelos melhores. Isso é feito, em particular, por meio de: (i) design de métricas para tarefas; e (ii) design de prompts para modelos de linguagem, visando refinar as respostas do modelo. Realizamos dois estudos de caso dessa abordagem para melhorar a geração de consultas de busca e a geração de respostas em diálogos, demonstrando a eficácia do uso de feedback em nível de sistema. Mostramos que a combinação de feedback em nível de sistema e feedback em nível de instância traz ganhos adicionais, e que o feedback escrito por humanos em nível de instância resulta em refinamentos mais fundamentados do que aqueles escritos pelo GPT-3.5, destacando a importância do feedback humano para a construção de sistemas.

English

Natural language (NL) feedback contains rich information about the user experience. Existing studies focus on an instance-level approach, where feedback is used to refine specific examples, disregarding its system-wide application. This paper proposes a general framework for unlocking the system-level use of NL feedback. We show how to use feedback to formalize system-level design decisions in a human-in-the-loop-process -- in order to produce better models. In particular this is done through: (i) metric design for tasks; and (ii) language model prompt design for refining model responses. We conduct two case studies of this approach for improving search query generation and dialog response generation, demonstrating the effectiveness of the use of system-level feedback. We show the combination of system-level feedback and instance-level feedback brings further gains, and that human written instance-level feedback results in more grounded refinements than GPT-3.5 written ones, underlying the importance of human feedback for building systems.