Генерация системных сообщений для пользовательских предпочтений с использованием моделей с открытым исходным кодом.

System Message Generation for User Preferences using Open-Source Models

February 17, 2025

Авторы: Minbyul Jeong, Jungho Cho, Minsoo Khang, Dawoon Jung, Teakgyu Hong

cs.AI

Аннотация

Системные сообщения играют ключевую роль во взаимодействии с большими языковыми моделями (LLM), часто служа как подсказки для начала разговоров. Через системные сообщения пользователи могут назначать конкретные роли, выполнять задачи, включать фоновую информацию, указывать различные форматы вывода и стили коммуникации. Несмотря на такую гибкость, общедоступные данные часто лишены системных сообщений и подвержены строгим лицензионным ограничениям в индустриальной сфере. Ручная разметка общедоступных данных с системными сообщениями, соответствующими инструкциям пользователя, требует значительных ресурсов. В свете таких вызовов наша работа представляет SysGen, конвейер для генерации системных сообщений с лучшими ответами ассистента, выровненными по надзорному натаскивающему набору данных без системных сообщений. Обучение на данных SysGen продемонстрировало существенное улучшение соответствия ответов модели системным сообщениям и инструкциям пользователя, что подтверждается на различных моделях с открытым исходным кодом на бенчмарке Multifacet, сохраняя минимальное воздействие на другие неизвестные бенчмарки, такие как Open LLM Leaderboard 2. Наше качественное анализирует важность разнообразных системных сообщений для обеспечения лучшей адаптивности в различных контекстах.

English

System messages play a crucial role in interactions with large language models (LLMs), often serving as prompts to initiate conversations. Through system messages, users can assign specific roles, perform intended tasks, incorporate background information, specify various output formats and communication styles. Despite such versatility, publicly available data are often lack system messages and subject to strict license constraints in the industry field. Manual labeling of publicly available data with system messages that align with user instructions demands significant resources. In view of such challenges, our work introduces SysGen, a pipeline for generating system messages with better aligned assistant responses from the supervised fine-tuning dataset without system messages. Training on SysGen data has demonstrated substantial improvements in the alignment of model responses with system messages and user instructions, as demonstrated across various open-source models on the Multifacet benchmark, while maintaining minimal impact on other unseen benchmarks such as Open LLM Leaderboard 2. Our qualitative analysis highlights the importance of diverse system messages to ensure better adaptability across different contexts.