Mejorando los modelos de lenguaje abierto mediante el aprendizaje de interacciones orgánicas
Improving Open Language Models by Learning from Organic Interactions
June 7, 2023
Autores: Jing Xu, Da Ju, Joshua Lane, Mojtaba Komeili, Eric Michael Smith, Megan Ung, Morteza Behrooz, William Ngan, Rashel Moritz, Sainbayar Sukhbaatar, Y-Lan Boureau, Jason Weston, Kurt Shuster
cs.AI
Resumen
Presentamos BlenderBot 3x, una actualización del modelo conversacional BlenderBot 3, que ahora se entrena utilizando conversaciones orgánicas y datos de retroalimentación de usuarios participantes del sistema para mejorar tanto sus habilidades como su seguridad. Estamos liberando públicamente los datos de interacción desidentificados de los participantes para su uso por parte de la comunidad investigadora, con el fin de impulsar nuevos avances. Entrenar modelos con datos orgánicos es un desafío porque las interacciones con personas "en el mundo real" incluyen tanto conversaciones y retroalimentación de alta calidad, como comportamientos adversarios y tóxicos. Estudiamos técnicas que permiten aprender de instructores útiles mientras evitamos aprender de personas que intentan engañar al modelo para generar respuestas inútiles o tóxicas. BlenderBot 3x no solo es preferido en conversación frente a BlenderBot 3, sino que también demuestra producir respuestas más seguras en situaciones desafiantes. Aunque nuestros modelos actuales aún están lejos de ser perfectos, creemos que se pueden lograr mejoras adicionales mediante el uso continuo de las técnicas exploradas en este trabajo.
English
We present BlenderBot 3x, an update on the conversational model BlenderBot 3,
which is now trained using organic conversation and feedback data from
participating users of the system in order to improve both its skills and
safety. We are publicly releasing the participating de-identified interaction
data for use by the research community, in order to spur further progress.
Training models with organic data is challenging because interactions with
people "in the wild" include both high quality conversations and feedback, as
well as adversarial and toxic behavior. We study techniques that enable
learning from helpful teachers while avoiding learning from people who are
trying to trick the model into unhelpful or toxic responses. BlenderBot 3x is
both preferred in conversation to BlenderBot 3, and is shown to produce safer
responses in challenging situations. While our current models are still far
from perfect, we believe further improvement can be achieved by continued use
of the techniques explored in this work.