Generazione di Messaggi di Sistema per le Preferenze degli Utenti Utilizzando Modelli Open-Source

System Message Generation for User Preferences using Open-Source Models

February 17, 2025

Autori: Minbyul Jeong, Jungho Cho, Minsoo Khang, Dawoon Jung, Teakgyu Hong

cs.AI

Abstract

I messaggi di sistema svolgono un ruolo cruciale nelle interazioni con i grandi modelli linguistici (LLM), spesso fungendo da prompt per avviare conversazioni. Attraverso i messaggi di sistema, gli utenti possono assegnare ruoli specifici, eseguire compiti previsti, incorporare informazioni di contesto, specificare vari formati di output e stili di comunicazione. Nonostante tale versatilità, i dati pubblicamente disponibili spesso mancano di messaggi di sistema e sono soggetti a rigidi vincoli di licenza nel settore industriale. L'etichettatura manuale dei dati pubblicamente disponibili con messaggi di sistema allineati alle istruzioni dell'utente richiede risorse significative. Di fronte a tali sfide, il nostro lavoro introduce SysGen, una pipeline per generare messaggi di sistema con risposte dell'assistente meglio allineate a partire da un dataset di fine-tuning supervisionato privo di messaggi di sistema. L'addestramento sui dati di SysGen ha dimostrato miglioramenti sostanziali nell'allineamento delle risposte del modello con i messaggi di sistema e le istruzioni dell'utente, come dimostrato su vari modelli open-source nel benchmark Multifacet, mantenendo un impatto minimo su altri benchmark non visti, come l'Open LLM Leaderboard 2. La nostra analisi qualitativa evidenzia l'importanza di messaggi di sistema diversificati per garantire una migliore adattabilità in contesti diversi.

English

System messages play a crucial role in interactions with large language models (LLMs), often serving as prompts to initiate conversations. Through system messages, users can assign specific roles, perform intended tasks, incorporate background information, specify various output formats and communication styles. Despite such versatility, publicly available data are often lack system messages and subject to strict license constraints in the industry field. Manual labeling of publicly available data with system messages that align with user instructions demands significant resources. In view of such challenges, our work introduces SysGen, a pipeline for generating system messages with better aligned assistant responses from the supervised fine-tuning dataset without system messages. Training on SysGen data has demonstrated substantial improvements in the alignment of model responses with system messages and user instructions, as demonstrated across various open-source models on the Multifacet benchmark, while maintaining minimal impact on other unseen benchmarks such as Open LLM Leaderboard 2. Our qualitative analysis highlights the importance of diverse system messages to ensure better adaptability across different contexts.