CantTalkAboutThis: Выравнивание языковых моделей для сохранения темы в диалогах

CantTalkAboutThis: Aligning Language Models to Stay on Topic in Dialogues

April 4, 2024

Авторы: Makesh Narsimhan Sreedhar, Traian Rebedea, Shaona Ghosh, Christopher Parisien

cs.AI

Аннотация

Недавние достижения в области наборов данных для настройки инструкций в основном сосредоточены на конкретных задачах, таких как математическое или логическое рассуждение. Существует значительный пробел в данных, предназначенных для выравнивания языковых моделей для поддержания актуальности темы в разговорах - критического аспекта для развертывания чат-ботов в производство. Мы представляем набор данных CantTalkAboutThis, чтобы помочь языковым моделям оставаться сосредоточенными на обсуждаемой теме во время задачно-ориентированных взаимодействий. Он состоит из синтетических диалогов по широкому спектру тем разговоров из различных областей. Эти диалоги пересекаются с отвлекающими ответами, которые намеренно отвлекают чат-бота от заранее определенной темы. Настройка языковых моделей на этом наборе данных помогает им стать устойчивыми к отклонению от назначенной роли и улучшает их способность поддерживать тематическую связность по сравнению с общими языковыми моделями, настроенными на инструкции, такими как GPT-4-turbo и Mixtral-Instruct. Кроме того, предварительные наблюдения показывают, что обучение моделей на этом наборе данных также улучшает их производительность на задачах следования инструкциям с тонкой настройкой.

English

Recent advancements in instruction-tuning datasets have predominantly focused on specific tasks like mathematical or logical reasoning. There has been a notable gap in data designed for aligning language models to maintain topic relevance in conversations - a critical aspect for deploying chatbots to production. We introduce the CantTalkAboutThis dataset to help language models remain focused on the subject at hand during task-oriented interactions. It consists of synthetic dialogues on a wide range of conversation topics from different domains. These dialogues are interspersed with distractor turns that intentionally divert the chatbot from the predefined topic. Fine-tuning language models on this dataset helps make them resilient to deviating from the role assigned and improves their ability to maintain topical coherence compared to general-purpose instruction-tuned LLMs like GPT-4-turbo and Mixtral-Instruct. Additionally, preliminary observations suggest that training models on this dataset also enhance their performance on fine-grained instruction following tasks.