CantTalkAboutThis: 対話においてトピックを維持するための言語モデルのアラインメント

CantTalkAboutThis: Aligning Language Models to Stay on Topic in Dialogues

April 4, 2024

著者: Makesh Narsimhan Sreedhar, Traian Rebedea, Shaona Ghosh, Christopher Parisien

cs.AI

要旨

最近の指示チューニングデータセットの進展は、数学的または論理的推論といった特定のタスクに主に焦点を当ててきました。会話中に言語モデルをトピック関連性に沿わせるためのデータ、特にチャットボットを本番環境に導入する上で重要な側面については、顕著なギャップが存在していました。本論文では、タスク指向のインタラクション中に言語モデルが主題に集中し続けるのを支援するため、CantTalkAboutThisデータセットを紹介します。このデータセットは、さまざまなドメインからの幅広い会話トピックに関する合成ダイアログで構成されています。これらのダイアログには、意図的にチャットボットを事前に定義されたトピックから逸脱させるためのディストラクターターンが散りばめられています。このデータセットで言語モデルをファインチューニングすることで、割り当てられた役割から逸脱しにくくなり、GPT-4-turboやMixtral-Instructのような汎用指示チューニングLLMと比較して、トピックの一貫性を維持する能力が向上します。さらに、予備的な観察によると、このデータセットでモデルをトレーニングすることで、細粒度の指示追従タスクにおけるパフォーマンスも向上することが示唆されています。

English

Recent advancements in instruction-tuning datasets have predominantly focused on specific tasks like mathematical or logical reasoning. There has been a notable gap in data designed for aligning language models to maintain topic relevance in conversations - a critical aspect for deploying chatbots to production. We introduce the CantTalkAboutThis dataset to help language models remain focused on the subject at hand during task-oriented interactions. It consists of synthetic dialogues on a wide range of conversation topics from different domains. These dialogues are interspersed with distractor turns that intentionally divert the chatbot from the predefined topic. Fine-tuning language models on this dataset helps make them resilient to deviating from the role assigned and improves their ability to maintain topical coherence compared to general-purpose instruction-tuned LLMs like GPT-4-turbo and Mixtral-Instruct. Additionally, preliminary observations suggest that training models on this dataset also enhance their performance on fine-grained instruction following tasks.