Verbesserung offener Sprachmodelle durch Lernen aus organischen Interaktionen
Improving Open Language Models by Learning from Organic Interactions
June 7, 2023
Autoren: Jing Xu, Da Ju, Joshua Lane, Mojtaba Komeili, Eric Michael Smith, Megan Ung, Morteza Behrooz, William Ngan, Rashel Moritz, Sainbayar Sukhbaatar, Y-Lan Boureau, Jason Weston, Kurt Shuster
cs.AI
Zusammenfassung
Wir präsentieren BlenderBot 3x, eine Aktualisierung des Konversationsmodells BlenderBot 3, das nun mit organischen Gesprächs- und Feedbackdaten von teilnehmenden Nutzern des Systems trainiert wird, um sowohl seine Fähigkeiten als auch seine Sicherheit zu verbessern. Wir veröffentlichen die anonymisierten Interaktionsdaten der Teilnehmer öffentlich für die Nutzung durch die Forschungsgemeinschaft, um weiteren Fortschritt zu fördern. Das Training von Modellen mit organischen Daten ist herausfordernd, da Interaktionen mit Menschen „in freier Wildbahn“ sowohl hochwertige Gespräche und Feedback als auch adversariale und toxische Verhaltensweisen umfassen. Wir untersuchen Techniken, die es ermöglichen, von hilfreichen Lehrern zu lernen, während das Lernen von Personen vermieden wird, die versuchen, das Modell zu unbrauchbaren oder toxischen Antworten zu verleiten. BlenderBot 3x wird in Gesprächen gegenüber BlenderBot 3 bevorzugt und zeigt sich in schwierigen Situationen als sicherer in seinen Antworten. Obwohl unsere aktuellen Modelle noch weit von Perfektion entfernt sind, glauben wir, dass weitere Verbesserungen durch die fortgesetzte Anwendung der in dieser Arbeit erforschten Techniken erreicht werden können.
English
We present BlenderBot 3x, an update on the conversational model BlenderBot 3,
which is now trained using organic conversation and feedback data from
participating users of the system in order to improve both its skills and
safety. We are publicly releasing the participating de-identified interaction
data for use by the research community, in order to spur further progress.
Training models with organic data is challenging because interactions with
people "in the wild" include both high quality conversations and feedback, as
well as adversarial and toxic behavior. We study techniques that enable
learning from helpful teachers while avoiding learning from people who are
trying to trick the model into unhelpful or toxic responses. BlenderBot 3x is
both preferred in conversation to BlenderBot 3, and is shown to produce safer
responses in challenging situations. While our current models are still far
from perfect, we believe further improvement can be achieved by continued use
of the techniques explored in this work.