Системный уровень обратной связи на естественном языке

System-Level Natural Language Feedback

June 23, 2023

Авторы: Weizhe Yuan, Kyunghyun Cho, Jason Weston

cs.AI

Аннотация

Обратная связь на естественном языке (NL) содержит богатую информацию о пользовательском опыте. Существующие исследования сосредоточены на подходе на уровне отдельных примеров, где обратная связь используется для уточнения конкретных случаев, игнорируя её применение на уровне системы. В данной статье предлагается общая структура для раскрытия системного использования обратной связи на естественном языке. Мы показываем, как использовать обратную связь для формализации решений на уровне системы в процессе с участием человека — с целью создания более качественных моделей. В частности, это достигается через: (i) разработку метрик для задач; и (ii) проектирование подсказок для языковых моделей с целью уточнения их ответов. Мы проводим два кейс-стади этого подхода для улучшения генерации поисковых запросов и генерации диалоговых ответов, демонстрируя эффективность использования системной обратной связи. Мы показываем, что сочетание системной и примерной обратной связи приводит к дополнительным улучшениям, а также что обратная связь, написанная человеком на уровне примеров, обеспечивает более обоснованные уточнения по сравнению с обратной связью, сгенерированной GPT-3.5, что подчеркивает важность человеческой обратной связи для построения систем.

English

Natural language (NL) feedback contains rich information about the user experience. Existing studies focus on an instance-level approach, where feedback is used to refine specific examples, disregarding its system-wide application. This paper proposes a general framework for unlocking the system-level use of NL feedback. We show how to use feedback to formalize system-level design decisions in a human-in-the-loop-process -- in order to produce better models. In particular this is done through: (i) metric design for tasks; and (ii) language model prompt design for refining model responses. We conduct two case studies of this approach for improving search query generation and dialog response generation, demonstrating the effectiveness of the use of system-level feedback. We show the combination of system-level feedback and instance-level feedback brings further gains, and that human written instance-level feedback results in more grounded refinements than GPT-3.5 written ones, underlying the importance of human feedback for building systems.