Shepherd: Критик для генерации языковых моделей

Shepherd: A Critic for Language Model Generation

August 8, 2023

Авторы: Tianlu Wang, Ping Yu, Xiaoqing Ellen Tan, Sean O'Brien, Ramakanth Pasunuru, Jane Dwivedi-Yu, Olga Golovneva, Luke Zettlemoyer, Maryam Fazel-Zarandi, Asli Celikyilmaz

cs.AI

Аннотация

По мере совершенствования крупных языковых моделей растет интерес к методам, которые используют их возможности для улучшения собственных результатов. В данной работе мы представляем Shepherd — языковую модель, специально настроенную для критического анализа ответов и предложения улучшений, выходя за рамки возможностей ненастроенной модели в выявлении разнообразных ошибок и предоставлении рекомендаций для их устранения. Основой нашего подхода является высококачественный набор данных с обратной связью, который мы создали на основе отзывов сообщества и аннотаций, выполненных людьми. Несмотря на небольшой размер Shepherd (7 млрд параметров), ее критика либо эквивалентна, либо предпочтительнее, чем у известных моделей, включая ChatGPT. По оценке с использованием GPT-4, Shepherd достигает средней частоты предпочтений в 53–87% по сравнению с конкурентными альтернативами. В оценке людьми Shepherd строго превосходит другие модели и в среднем близко соперничает с ChatGPT.

English

As large language models improve, there is increasing interest in techniques that leverage these models' capabilities to refine their own outputs. In this work, we introduce Shepherd, a language model specifically tuned to critique responses and suggest refinements, extending beyond the capabilities of an untuned model to identify diverse errors and provide suggestions to remedy them. At the core of our approach is a high quality feedback dataset, which we curate from community feedback and human annotations. Even though Shepherd is small (7B parameters), its critiques are either equivalent or preferred to those from established models including ChatGPT. Using GPT-4 for evaluation, Shepherd reaches an average win-rate of 53-87% compared to competitive alternatives. In human evaluation, Shepherd strictly outperforms other models and on average closely ties with ChatGPT.