Melhorando Modelos de Linguagem Aberta Aprendendo com Interações Orgânicas
Improving Open Language Models by Learning from Organic Interactions
June 7, 2023
Autores: Jing Xu, Da Ju, Joshua Lane, Mojtaba Komeili, Eric Michael Smith, Megan Ung, Morteza Behrooz, William Ngan, Rashel Moritz, Sainbayar Sukhbaatar, Y-Lan Boureau, Jason Weston, Kurt Shuster
cs.AI
Resumo
Apresentamos o BlenderBot 3x, uma atualização do modelo de conversação BlenderBot 3, que agora é treinado usando conversas orgânicas e dados de feedback de usuários participantes do sistema, com o objetivo de aprimorar tanto suas habilidades quanto sua segurança. Estamos disponibilizando publicamente os dados de interação desidentificados dos participantes para uso pela comunidade de pesquisa, a fim de impulsionar novos avanços. Treinar modelos com dados orgânicos é desafiador porque as interações com pessoas "no mundo real" incluem tanto conversas e feedbacks de alta qualidade quanto comportamentos adversários e tóxicos. Estudamos técnicas que permitem aprender com instrutores úteis, evitando aprender com pessoas que tentam enganar o modelo para gerar respostas inúteis ou tóxicas. O BlenderBot 3x é preferido em conversas em relação ao BlenderBot 3 e demonstra produzir respostas mais seguras em situações desafiadoras. Embora nossos modelos atuais ainda estejam longe de serem perfeitos, acreditamos que melhorias adicionais podem ser alcançadas com o uso contínuo das técnicas exploradas neste trabalho.
English
We present BlenderBot 3x, an update on the conversational model BlenderBot 3,
which is now trained using organic conversation and feedback data from
participating users of the system in order to improve both its skills and
safety. We are publicly releasing the participating de-identified interaction
data for use by the research community, in order to spur further progress.
Training models with organic data is challenging because interactions with
people "in the wild" include both high quality conversations and feedback, as
well as adversarial and toxic behavior. We study techniques that enable
learning from helpful teachers while avoiding learning from people who are
trying to trick the model into unhelpful or toxic responses. BlenderBot 3x is
both preferred in conversation to BlenderBot 3, and is shown to produce safer
responses in challenging situations. While our current models are still far
from perfect, we believe further improvement can be achieved by continued use
of the techniques explored in this work.