Génération de messages système pour les préférences utilisateur en utilisant des modèles open source

System Message Generation for User Preferences using Open-Source Models

February 17, 2025

Auteurs: Minbyul Jeong, Jungho Cho, Minsoo Khang, Dawoon Jung, Teakgyu Hong

cs.AI

Résumé

Les messages système jouent un rôle crucial dans les interactions avec les grands modèles de langage (GML), servant souvent de stimuli pour initier des conversations. À travers les messages système, les utilisateurs peuvent attribuer des rôles spécifiques, effectuer des tâches prévues, intégrer des informations de contexte, spécifier divers formats de sortie et styles de communication. Malgré une telle polyvalence, les données disponibles publiquement manquent souvent de messages système et sont soumises à des contraintes de licence strictes dans le domaine industriel. L'étiquetage manuel des données disponibles publiquement avec des messages système conformes aux instructions des utilisateurs exige des ressources significatives. Face à de tels défis, notre travail présente SysGen, un pipeline pour générer des messages système avec des réponses d'assistant mieux alignées à partir de l'ensemble de données de fine-tuning supervisé sans messages système. L'entraînement sur les données de SysGen a démontré des améliorations substantielles dans l'alignement des réponses du modèle avec les messages système et les instructions des utilisateurs, comme démontré à travers divers modèles open-source sur le banc d'essai Multifacet, tout en ayant un impact minimal sur d'autres bancs d'essai non vus tels que Open LLM Leaderboard 2. Notre analyse qualitative souligne l'importance de divers messages système pour garantir une meilleure adaptabilité dans différents contextes.

English

System messages play a crucial role in interactions with large language models (LLMs), often serving as prompts to initiate conversations. Through system messages, users can assign specific roles, perform intended tasks, incorporate background information, specify various output formats and communication styles. Despite such versatility, publicly available data are often lack system messages and subject to strict license constraints in the industry field. Manual labeling of publicly available data with system messages that align with user instructions demands significant resources. In view of such challenges, our work introduces SysGen, a pipeline for generating system messages with better aligned assistant responses from the supervised fine-tuning dataset without system messages. Training on SysGen data has demonstrated substantial improvements in the alignment of model responses with system messages and user instructions, as demonstrated across various open-source models on the Multifacet benchmark, while maintaining minimal impact on other unseen benchmarks such as Open LLM Leaderboard 2. Our qualitative analysis highlights the importance of diverse system messages to ensure better adaptability across different contexts.