Amélioration des modèles de langage ouverts par l'apprentissage à partir d'interactions organiques

Résumé

Nous présentons BlenderBot 3x, une mise à jour du modèle conversationnel BlenderBot 3, désormais entraîné à l'aide de conversations organiques et de données de feedback provenant des utilisateurs participants du système, afin d'améliorer à la fois ses compétences et sa sécurité. Nous rendons publiquement disponibles les données d'interaction anonymisées des participants pour utilisation par la communauté de recherche, dans le but de stimuler de nouveaux progrès. L'entraînement de modèles avec des données organiques est un défi, car les interactions avec des personnes "en situation réelle" incluent à la fois des conversations et des feedbacks de haute qualité, ainsi que des comportements adversariaux et toxiques. Nous étudions des techniques permettant d'apprendre des enseignants utiles tout en évitant d'apprendre des personnes cherchant à induire le modèle à produire des réponses inutiles ou toxiques. BlenderBot 3x est à la fois préféré en conversation par rapport à BlenderBot 3, et démontre une capacité à produire des réponses plus sûres dans des situations difficiles. Bien que nos modèles actuels soient encore loin d'être parfaits, nous croyons que des améliorations supplémentaires peuvent être obtenues grâce à l'utilisation continue des techniques explorées dans ce travail.

English

We present BlenderBot 3x, an update on the conversational model BlenderBot 3, which is now trained using organic conversation and feedback data from participating users of the system in order to improve both its skills and safety. We are publicly releasing the participating de-identified interaction data for use by the research community, in order to spur further progress. Training models with organic data is challenging because interactions with people "in the wild" include both high quality conversations and feedback, as well as adversarial and toxic behavior. We study techniques that enable learning from helpful teachers while avoiding learning from people who are trying to trick the model into unhelpful or toxic responses. BlenderBot 3x is both preferred in conversation to BlenderBot 3, and is shown to produce safer responses in challenging situations. While our current models are still far from perfect, we believe further improvement can be achieved by continued use of the techniques explored in this work.

Amélioration des modèles de langage ouverts par l'apprentissage à partir d'interactions organiques

Improving Open Language Models by Learning from Organic Interactions

Résumé

Support