CantTalkAboutThis: 대화에서 주제를 벗어나지 않도록 언어 모델 정렬하기

CantTalkAboutThis: Aligning Language Models to Stay on Topic in Dialogues

April 4, 2024

저자: Makesh Narsimhan Sreedhar, Traian Rebedea, Shaona Ghosh, Christopher Parisien

cs.AI

초록

최근 지시어 튜닝 데이터셋의 발전은 주로 수학적 또는 논리적 추론과 같은 특정 작업에 초점을 맞추어 왔습니다. 대화 중 주제 관련성을 유지하도록 언어 모델을 조정하기 위해 설계된 데이터는 상당한 공백이 있었는데, 이는 챗봇을 프로덕션에 배포하기 위한 중요한 측면입니다. 우리는 작업 지향적 상호작용 중에 언어 모델이 주제에 집중할 수 있도록 돕기 위해 CantTalkAboutThis 데이터셋을 소개합니다. 이 데이터셋은 다양한 도메인의 광범위한 대화 주제에 대한 합성 대화로 구성되어 있습니다. 이러한 대화는 의도적으로 챗봇을 사전 정의된 주제에서 벗어나게 하는 방해 요소 턴이 포함되어 있습니다. 이 데이터셋을 통해 언어 모델을 미세 조정하면 할당된 역할에서 벗어나지 않도록 강인성을 갖추고, GPT-4-turbo 및 Mixtral-Instruct와 같은 일반 목적의 지시어 튜닝 LLM에 비해 주제 일관성을 유지하는 능력이 향상됩니다. 또한, 예비 관찰 결과에 따르면 이 데이터셋으로 모델을 훈련하면 세분화된 지시어 수행 작업에서의 성능도 향상되는 것으로 나타났습니다.

English

Recent advancements in instruction-tuning datasets have predominantly focused on specific tasks like mathematical or logical reasoning. There has been a notable gap in data designed for aligning language models to maintain topic relevance in conversations - a critical aspect for deploying chatbots to production. We introduce the CantTalkAboutThis dataset to help language models remain focused on the subject at hand during task-oriented interactions. It consists of synthetic dialogues on a wide range of conversation topics from different domains. These dialogues are interspersed with distractor turns that intentionally divert the chatbot from the predefined topic. Fine-tuning language models on this dataset helps make them resilient to deviating from the role assigned and improves their ability to maintain topical coherence compared to general-purpose instruction-tuned LLMs like GPT-4-turbo and Mixtral-Instruct. Additionally, preliminary observations suggest that training models on this dataset also enhance their performance on fine-grained instruction following tasks.