Shepherd: Un Critico per la Generazione di Modelli Linguistici

Shepherd: A Critic for Language Model Generation

August 8, 2023

Autori: Tianlu Wang, Ping Yu, Xiaoqing Ellen Tan, Sean O'Brien, Ramakanth Pasunuru, Jane Dwivedi-Yu, Olga Golovneva, Luke Zettlemoyer, Maryam Fazel-Zarandi, Asli Celikyilmaz

cs.AI

Abstract

Man mano che i modelli linguistici di grandi dimensioni migliorano, cresce l'interesse per le tecniche che sfruttano le capacità di questi modelli per affinare i propri output. In questo lavoro, presentiamo Shepherd, un modello linguistico specificamente ottimizzato per criticare le risposte e suggerire miglioramenti, andando oltre le capacità di un modello non ottimizzato per identificare errori diversi e fornire suggerimenti per rimediarvi. Al centro del nostro approccio c'è un dataset di feedback di alta qualità, che abbiamo curato a partire da feedback della comunità e annotazioni umane. Nonostante Shepherd sia di dimensioni ridotte (7 miliardi di parametri), le sue critiche sono equivalenti o preferibili rispetto a quelle di modelli consolidati, incluso ChatGPT. Utilizzando GPT-4 per la valutazione, Shepherd raggiunge un tasso di vittoria medio del 53-87% rispetto alle alternative competitive. Nella valutazione umana, Shepherd supera nettamente altri modelli e, in media, si colloca a pari merito con ChatGPT.

English

As large language models improve, there is increasing interest in techniques that leverage these models' capabilities to refine their own outputs. In this work, we introduce Shepherd, a language model specifically tuned to critique responses and suggest refinements, extending beyond the capabilities of an untuned model to identify diverse errors and provide suggestions to remedy them. At the core of our approach is a high quality feedback dataset, which we curate from community feedback and human annotations. Even though Shepherd is small (7B parameters), its critiques are either equivalent or preferred to those from established models including ChatGPT. Using GPT-4 for evaluation, Shepherd reaches an average win-rate of 53-87% compared to competitive alternatives. In human evaluation, Shepherd strictly outperforms other models and on average closely ties with ChatGPT.