オープンソースモデルを用いたユーザー嗜好に基づくシステムメッセージ生成

要旨

システムメッセージは、大規模言語モデル（LLM）とのインタラクションにおいて重要な役割を果たし、会話を開始するためのプロンプトとして機能することが多い。システムメッセージを通じて、ユーザーは特定の役割を割り当てたり、意図したタスクを実行したり、背景情報を組み込んだり、さまざまな出力形式やコミュニケーションスタイルを指定したりすることができる。しかし、そのような多様性にもかかわらず、公開されているデータにはシステムメッセージが欠けており、業界では厳しいライセンス制約が課されていることが多い。ユーザー指示に沿ったシステムメッセージを公開データに手動でラベル付けするには、多大なリソースが必要となる。こうした課題を踏まえ、本研究では、システムメッセージのない教師あり微調整データセットから、より整合性の高いアシスタント応答を生成するためのパイプラインであるSysGenを提案する。SysGenデータを用いたトレーニングは、Multifacetベンチマークにおけるさまざまなオープンソースモデルで実証されたように、モデルの応答がシステムメッセージやユーザー指示とより整合することを大幅に改善し、Open LLM Leaderboard 2などの他の未見のベンチマークへの影響を最小限に抑えている。我々の定性分析は、異なる文脈での適応性を確保するために多様なシステムメッセージが重要であることを強調している。

English

System messages play a crucial role in interactions with large language models (LLMs), often serving as prompts to initiate conversations. Through system messages, users can assign specific roles, perform intended tasks, incorporate background information, specify various output formats and communication styles. Despite such versatility, publicly available data are often lack system messages and subject to strict license constraints in the industry field. Manual labeling of publicly available data with system messages that align with user instructions demands significant resources. In view of such challenges, our work introduces SysGen, a pipeline for generating system messages with better aligned assistant responses from the supervised fine-tuning dataset without system messages. Training on SysGen data has demonstrated substantial improvements in the alignment of model responses with system messages and user instructions, as demonstrated across various open-source models on the Multifacet benchmark, while maintaining minimal impact on other unseen benchmarks such as Open LLM Leaderboard 2. Our qualitative analysis highlights the importance of diverse system messages to ensure better adaptability across different contexts.

オープンソースモデルを用いたユーザー嗜好に基づくシステムメッセージ生成

System Message Generation for User Preferences using Open-Source Models

要旨

Summary

Support

Support