Shepherd: Een criticus voor taalmodellen generatie

Shepherd: A Critic for Language Model Generation

August 8, 2023

Auteurs: Tianlu Wang, Ping Yu, Xiaoqing Ellen Tan, Sean O'Brien, Ramakanth Pasunuru, Jane Dwivedi-Yu, Olga Golovneva, Luke Zettlemoyer, Maryam Fazel-Zarandi, Asli Celikyilmaz

cs.AI

Samenvatting

Naarmate grote taalmodellen verbeteren, neemt de interesse toe in technieken die de mogelijkheden van deze modellen benutten om hun eigen uitvoer te verfijnen. In dit werk introduceren we Shepherd, een taalmodel dat specifiek is afgestemd om reacties te beoordelen en verfijningen voor te stellen, en dat verder gaat dan de mogelijkheden van een niet-afgestemd model om diverse fouten te identificeren en suggesties te geven om deze te verhelpen. De kern van onze aanpak is een hoogwaardige feedbackdataset, die we samenstellen uit gemeenschapsfeedback en menselijke annotaties. Hoewel Shepherd klein is (7B parameters), zijn zijn beoordelingen gelijkwaardig of zelfs beter dan die van gevestigde modellen zoals ChatGPT. Bij evaluatie met GPT-4 bereikt Shepherd een gemiddelde win-rate van 53-87% in vergelijking met concurrerende alternatieven. In menselijke evaluaties presteert Shepherd consistent beter dan andere modellen en eindigt het gemiddeld op gelijke hoogte met ChatGPT.

English

As large language models improve, there is increasing interest in techniques that leverage these models' capabilities to refine their own outputs. In this work, we introduce Shepherd, a language model specifically tuned to critique responses and suggest refinements, extending beyond the capabilities of an untuned model to identify diverse errors and provide suggestions to remedy them. At the core of our approach is a high quality feedback dataset, which we curate from community feedback and human annotations. Even though Shepherd is small (7B parameters), its critiques are either equivalent or preferred to those from established models including ChatGPT. Using GPT-4 for evaluation, Shepherd reaches an average win-rate of 53-87% compared to competitive alternatives. In human evaluation, Shepherd strictly outperforms other models and on average closely ties with ChatGPT.