NichtDarüberSprechen: Ausrichtung von Sprachmodellen, um in Dialogen beim Thema zu bleiben

CantTalkAboutThis: Aligning Language Models to Stay on Topic in Dialogues

April 4, 2024

Autoren: Makesh Narsimhan Sreedhar, Traian Rebedea, Shaona Ghosh, Christopher Parisien

cs.AI

Zusammenfassung

In jüngster Zeit haben Fortschritte bei der Anpassung von Anweisungsdatensätzen hauptsächlich auf spezifische Aufgaben wie mathematische oder logische Schlussfolgerungen abgezielt. Es gab eine bemerkenswerte Lücke bei Daten, die darauf ausgelegt sind, Sprachmodelle auf das Beibehalten der Themenrelevanz in Gesprächen auszurichten - ein entscheidender Aspekt für die Bereitstellung von Chatbots in der Produktion. Wir stellen den CantTalkAboutThis-Datensatz vor, um Sprachmodelle dabei zu unterstützen, während aufgabenorientierter Interaktionen auf das vorliegende Thema fokussiert zu bleiben. Er besteht aus synthetischen Dialogen zu einer Vielzahl von Gesprächsthemen aus verschiedenen Bereichen. Diese Dialoge werden mit Ablenkungsbeiträgen durchsetzt, die den Chatbot absichtlich vom vordefinierten Thema ablenken. Das Feintuning von Sprachmodellen auf diesem Datensatz hilft dabei, sie widerstandsfähiger gegen Abweichungen von der zugewiesenen Rolle zu machen und verbessert ihre Fähigkeit, thematische Kohärenz im Vergleich zu allgemeinen anweisungsgesteuerten LLMs wie GPT-4-turbo und Mixtral-Instruct aufrechtzuerhalten. Darüber hinaus legen vorläufige Beobachtungen nahe, dass das Training von Modellen auf diesem Datensatz auch deren Leistung bei feinkörnigen Anweisungsfolgeaufgaben verbessert.

English

Recent advancements in instruction-tuning datasets have predominantly focused on specific tasks like mathematical or logical reasoning. There has been a notable gap in data designed for aligning language models to maintain topic relevance in conversations - a critical aspect for deploying chatbots to production. We introduce the CantTalkAboutThis dataset to help language models remain focused on the subject at hand during task-oriented interactions. It consists of synthetic dialogues on a wide range of conversation topics from different domains. These dialogues are interspersed with distractor turns that intentionally divert the chatbot from the predefined topic. Fine-tuning language models on this dataset helps make them resilient to deviating from the role assigned and improves their ability to maintain topical coherence compared to general-purpose instruction-tuned LLMs like GPT-4-turbo and Mixtral-Instruct. Additionally, preliminary observations suggest that training models on this dataset also enhance their performance on fine-grained instruction following tasks.