Улучшение открытых языковых моделей за счет обучения на основе органических взаимодействий
Improving Open Language Models by Learning from Organic Interactions
June 7, 2023
Авторы: Jing Xu, Da Ju, Joshua Lane, Mojtaba Komeili, Eric Michael Smith, Megan Ung, Morteza Behrooz, William Ngan, Rashel Moritz, Sainbayar Sukhbaatar, Y-Lan Boureau, Jason Weston, Kurt Shuster
cs.AI
Аннотация
Мы представляем BlenderBot 3x — обновление диалоговой модели BlenderBot 3, которая теперь обучается с использованием органических данных из разговоров и обратной связи от пользователей системы с целью улучшения как её навыков, так и безопасности. Мы публикуем анонимизированные данные взаимодействий для использования исследовательским сообществом, чтобы стимулировать дальнейший прогресс. Обучение моделей на органических данных является сложной задачей, поскольку взаимодействия с людьми "в реальных условиях" включают как высококачественные диалоги и обратную связь, так и враждебное и токсичное поведение. Мы изучаем методы, которые позволяют обучаться на основе полезных примеров, избегая при этом обучения на данных от тех, кто пытается заставить модель давать бесполезные или токсичные ответы. BlenderBot 3x не только предпочтительнее в диалогах по сравнению с BlenderBot 3, но и демонстрирует более безопасные ответы в сложных ситуациях. Хотя наши текущие модели всё ещё далеки от идеала, мы считаем, что дальнейшее улучшение может быть достигнуто за счёт продолжения использования методов, исследованных в этой работе.
English
We present BlenderBot 3x, an update on the conversational model BlenderBot 3,
which is now trained using organic conversation and feedback data from
participating users of the system in order to improve both its skills and
safety. We are publicly releasing the participating de-identified interaction
data for use by the research community, in order to spur further progress.
Training models with organic data is challenging because interactions with
people "in the wild" include both high quality conversations and feedback, as
well as adversarial and toxic behavior. We study techniques that enable
learning from helpful teachers while avoiding learning from people who are
trying to trick the model into unhelpful or toxic responses. BlenderBot 3x is
both preferred in conversation to BlenderBot 3, and is shown to produce safer
responses in challenging situations. While our current models are still far
from perfect, we believe further improvement can be achieved by continued use
of the techniques explored in this work.