Systemnachrichtenerstellung für Benutzervorlieben unter Verwendung von Open-Source-Modellen

System Message Generation for User Preferences using Open-Source Models

February 17, 2025

Autoren: Minbyul Jeong, Jungho Cho, Minsoo Khang, Dawoon Jung, Teakgyu Hong

cs.AI

Zusammenfassung

Systemnachrichten spielen eine entscheidende Rolle bei Interaktionen mit großen Sprachmodellen (LLMs), oft als Aufforderungen, Gespräche zu beginnen. Durch Systemnachrichten können Benutzer spezifische Rollen zuweisen, beabsichtigte Aufgaben ausführen, Hintergrundinformationen einbeziehen, verschiedene Ausgabeformate und Kommunikationsstile festlegen. Trotz einer solchen Vielseitigkeit fehlen öffentlich verfügbare Daten oft an Systemnachrichten und unterliegen strengen Lizenzbeschränkungen in der Industrie. Die manuelle Markierung öffentlich verfügbarer Daten mit Systemnachrichten, die mit Benutzeranweisungen übereinstimmen, erfordert erhebliche Ressourcen. Angesichts solcher Herausforderungen stellt unsere Arbeit SysGen vor, eine Pipeline zur Generierung von Systemnachrichten mit besser abgestimmten Assistentenantworten aus dem überwachten Feinabstimmungsdatensatz ohne Systemnachrichten. Das Training mit SysGen-Daten hat signifikante Verbesserungen in der Ausrichtung der Modellantworten auf Systemnachrichten und Benutzeranweisungen gezeigt, wie anhand verschiedener Open-Source-Modelle im Multifacet-Benchmark demonstriert wurde, wobei minimale Auswirkungen auf andere nicht gesehene Benchmarks wie Open LLM Leaderboard 2 beibehalten wurden. Unsere qualitative Analyse hebt die Bedeutung verschiedener Systemnachrichten hervor, um eine bessere Anpassungsfähigkeit in verschiedenen Kontexten sicherzustellen.

English

System messages play a crucial role in interactions with large language models (LLMs), often serving as prompts to initiate conversations. Through system messages, users can assign specific roles, perform intended tasks, incorporate background information, specify various output formats and communication styles. Despite such versatility, publicly available data are often lack system messages and subject to strict license constraints in the industry field. Manual labeling of publicly available data with system messages that align with user instructions demands significant resources. In view of such challenges, our work introduces SysGen, a pipeline for generating system messages with better aligned assistant responses from the supervised fine-tuning dataset without system messages. Training on SysGen data has demonstrated substantial improvements in the alignment of model responses with system messages and user instructions, as demonstrated across various open-source models on the Multifacet benchmark, while maintaining minimal impact on other unseen benchmarks such as Open LLM Leaderboard 2. Our qualitative analysis highlights the importance of diverse system messages to ensure better adaptability across different contexts.