Het verbeteren van open taalmodellen door te leren van organische interacties
Improving Open Language Models by Learning from Organic Interactions
June 7, 2023
Auteurs: Jing Xu, Da Ju, Joshua Lane, Mojtaba Komeili, Eric Michael Smith, Megan Ung, Morteza Behrooz, William Ngan, Rashel Moritz, Sainbayar Sukhbaatar, Y-Lan Boureau, Jason Weston, Kurt Shuster
cs.AI
Samenvatting
We presenteren BlenderBot 3x, een update van het conversatiemodel BlenderBot 3, dat nu is getraind met organische gespreks- en feedbackgegevens van deelnemende gebruikers van het systeem om zowel de vaardigheden als de veiligheid te verbeteren. We maken de gedeïdentificeerde interactiegegevens van de deelnemers openbaar beschikbaar voor gebruik door de onderzoeksgemeenschap, om verdere vooruitgang te stimuleren. Het trainen van modellen met organische gegevens is uitdagend omdat interacties met mensen "in het wild" zowel hoogwaardige gesprekken en feedback omvatten, als ook adversariële en giftige gedragingen. We bestuderen technieken die het mogelijk maken om te leren van behulpzame leraren, terwijl wordt voorkomen dat wordt geleerd van mensen die het model proberen te misleiden tot onbehulpzame of giftige reacties. BlenderBot 3x wordt zowel in gesprekken geprefereerd boven BlenderBot 3, als ook aangetoond veiligere reacties te produceren in uitdagende situaties. Hoewel onze huidige modellen nog verre van perfect zijn, geloven we dat verdere verbetering kan worden bereikt door het voortgezette gebruik van de technieken die in dit werk worden verkend.
English
We present BlenderBot 3x, an update on the conversational model BlenderBot 3,
which is now trained using organic conversation and feedback data from
participating users of the system in order to improve both its skills and
safety. We are publicly releasing the participating de-identified interaction
data for use by the research community, in order to spur further progress.
Training models with organic data is challenging because interactions with
people "in the wild" include both high quality conversations and feedback, as
well as adversarial and toxic behavior. We study techniques that enable
learning from helpful teachers while avoiding learning from people who are
trying to trick the model into unhelpful or toxic responses. BlenderBot 3x is
both preferred in conversation to BlenderBot 3, and is shown to produce safer
responses in challenging situations. While our current models are still far
from perfect, we believe further improvement can be achieved by continued use
of the techniques explored in this work.