Shepherd: Um Crítico para a Geração de Modelos de Linguagem

Shepherd: A Critic for Language Model Generation

August 8, 2023

Autores: Tianlu Wang, Ping Yu, Xiaoqing Ellen Tan, Sean O'Brien, Ramakanth Pasunuru, Jane Dwivedi-Yu, Olga Golovneva, Luke Zettlemoyer, Maryam Fazel-Zarandi, Asli Celikyilmaz

cs.AI

Resumo

À medida que os modelos de linguagem de grande escala avançam, há um interesse crescente em técnicas que aproveitam as capacidades desses modelos para refinar suas próprias saídas. Neste trabalho, apresentamos o Shepherd, um modelo de linguagem especificamente ajustado para criticar respostas e sugerir refinamentos, indo além das capacidades de um modelo não ajustado para identificar diversos erros e fornecer sugestões para corrigi-los. No centro de nossa abordagem está um conjunto de dados de feedback de alta qualidade, que curamos a partir de feedback da comunidade e anotações humanas. Embora o Shepherd seja pequeno (7 bilhões de parâmetros), suas críticas são equivalentes ou preferidas em relação às de modelos estabelecidos, incluindo o ChatGPT. Usando o GPT-4 para avaliação, o Shepherd alcança uma taxa média de vitória de 53-87% em comparação com alternativas competitivas. Na avaliação humana, o Shepherd supera estritamente outros modelos e, em média, fica muito próximo do ChatGPT.

English

As large language models improve, there is increasing interest in techniques that leverage these models' capabilities to refine their own outputs. In this work, we introduce Shepherd, a language model specifically tuned to critique responses and suggest refinements, extending beyond the capabilities of an untuned model to identify diverse errors and provide suggestions to remedy them. At the core of our approach is a high quality feedback dataset, which we curate from community feedback and human annotations. Even though Shepherd is small (7B parameters), its critiques are either equivalent or preferred to those from established models including ChatGPT. Using GPT-4 for evaluation, Shepherd reaches an average win-rate of 53-87% compared to competitive alternatives. In human evaluation, Shepherd strictly outperforms other models and on average closely ties with ChatGPT.