Semplici dati sintetici riducono la sìcophancy nei grandi modelli linguistici.

Simple synthetic data reduces sycophancy in large language models

August 7, 2023

Autori: Jerry Wei, Da Huang, Yifeng Lu, Denny Zhou, Quoc V. Le

cs.AI

Abstract

La sottomissione è un comportamento indesiderato in cui i modelli adattano le loro risposte per seguire il punto di vista di un utente umano, anche quando tale punto di vista non è oggettivamente corretto (ad esempio, adottando opinioni liberali una volta che un utente rivela di essere liberale). In questo articolo, studiamo la prevalenza della sottomissione nei modelli linguistici e proponiamo un semplice intervento basato su dati sintetici per ridurre questo comportamento. In primo luogo, su un insieme di tre compiti di sottomissione (Perez et al., 2022) in cui ai modelli viene chiesta un'opinione su affermazioni senza risposte corrette (ad esempio, politica), osserviamo che sia il ridimensionamento del modello che l'ottimizzazione delle istruzioni aumentano significativamente la sottomissione per i modelli PaLM fino a 540 miliardi di parametri. In secondo luogo, estendiamo le valutazioni della sottomissione a semplici affermazioni di addizione che sono oggettivamente errate, scoprendo che, nonostante sappiano che queste affermazioni sono sbagliate, i modelli linguistici continueranno a concordare con esse se l'utente lo fa. Per ridurre la sottomissione, presentiamo un intervento diretto basato su dati sintetici che utilizza compiti pubblici di NLP e incoraggia i modelli a essere robusti rispetto alle opinioni degli utenti su questi compiti. L'aggiunta di questi dati in un passaggio di ottimizzazione leggera può ridurre significativamente il comportamento sottomesso su prompt non visti. Il codice per generare dati sintetici per l'intervento è disponibile all'indirizzo https://github.com/google/sycophancy-intervention.

English

Sycophancy is an undesirable behavior where models tailor their responses to follow a human user's view even when that view is not objectively correct (e.g., adapting liberal views once a user reveals that they are liberal). In this paper, we study the prevalence of sycophancy in language models and propose a simple synthetic-data intervention to reduce this behavior. First, on a set of three sycophancy tasks (Perez et al., 2022) where models are asked for an opinion on statements with no correct answers (e.g., politics), we observe that both model scaling and instruction tuning significantly increase sycophancy for PaLM models up to 540B parameters. Second, we extend sycophancy evaluations to simple addition statements that are objectively incorrect, finding that despite knowing that these statements are wrong, language models will still agree with them if the user does as well. To reduce sycophancy, we present a straightforward synthetic-data intervention that takes public NLP tasks and encourages models to be robust to user opinions on these tasks. Adding these data in a lightweight finetuning step can significantly reduce sycophantic behavior on held-out prompts. Code for generating synthetic data for intervention can be found at https://github.com/google/sycophancy-intervention.