Migliorare i modelli linguistici aperti apprendendo dalle interazioni organiche
Improving Open Language Models by Learning from Organic Interactions
June 7, 2023
Autori: Jing Xu, Da Ju, Joshua Lane, Mojtaba Komeili, Eric Michael Smith, Megan Ung, Morteza Behrooz, William Ngan, Rashel Moritz, Sainbayar Sukhbaatar, Y-Lan Boureau, Jason Weston, Kurt Shuster
cs.AI
Abstract
Presentiamo BlenderBot 3x, un aggiornamento del modello conversazionale BlenderBot 3, ora addestrato utilizzando conversazioni organiche e dati di feedback provenienti dagli utenti che partecipano al sistema, con l'obiettivo di migliorarne sia le capacità che la sicurezza. Rilasciamo pubblicamente i dati di interazione de-identificati dei partecipanti per l'uso da parte della comunità di ricerca, al fine di stimolare ulteriori progressi. Addestrare modelli con dati organici è impegnativo perché le interazioni con le persone "nel mondo reale" includono sia conversazioni e feedback di alta qualità, sia comportamenti avversari e tossici. Studiamo tecniche che consentono di apprendere da insegnanti utili, evitando al contempo di apprendere da persone che cercano di indurre il modello a produrre risposte inutili o tossiche. BlenderBot 3x è sia preferito nelle conversazioni rispetto a BlenderBot 3, sia dimostrato in grado di produrre risposte più sicure in situazioni complesse. Sebbene i nostri modelli attuali siano ancora lontani dalla perfezione, crediamo che ulteriori miglioramenti possano essere raggiunti continuando a utilizzare le tecniche esplorate in questo lavoro.
English
We present BlenderBot 3x, an update on the conversational model BlenderBot 3,
which is now trained using organic conversation and feedback data from
participating users of the system in order to improve both its skills and
safety. We are publicly releasing the participating de-identified interaction
data for use by the research community, in order to spur further progress.
Training models with organic data is challenging because interactions with
people "in the wild" include both high quality conversations and feedback, as
well as adversarial and toxic behavior. We study techniques that enable
learning from helpful teachers while avoiding learning from people who are
trying to trick the model into unhelpful or toxic responses. BlenderBot 3x is
both preferred in conversation to BlenderBot 3, and is shown to produce safer
responses in challenging situations. While our current models are still far
from perfect, we believe further improvement can be achieved by continued use
of the techniques explored in this work.