Systeemberichtgeneratie voor gebruikersvoorkeuren met behulp van open-source modellen

System Message Generation for User Preferences using Open-Source Models

February 17, 2025

Auteurs: Minbyul Jeong, Jungho Cho, Minsoo Khang, Dawoon Jung, Teakgyu Hong

cs.AI

Samenvatting

Systeemberichten spelen een cruciale rol in interacties met grote taalmodellen (LLM's), vaak als aanwijzingen om gesprekken te starten. Via systeemberichten kunnen gebruikers specifieke rollen toewijzen, beoogde taken uitvoeren, achtergrondinformatie opnemen, verschillende outputformaten en communicatiestijlen specificeren. Ondanks deze veelzijdigheid ontbreken systeemberichten vaak in openbaar beschikbare gegevens en zijn ze onderhevig aan strikte licentiebeperkingen in de bedrijfstak. Handmatige labeling van openbaar beschikbare gegevens met systeemberichten die overeenkomen met gebruikersinstructies vereist aanzienlijke middelen. Gezien deze uitdagingen introduceert ons werk SysGen, een pijplijn voor het genereren van systeemberichten met beter afgestemde assistentreacties uit het dataset voor begeleid fijnafstemmen zonder systeemberichten. Training op SysGen-gegevens heeft aanzienlijke verbeteringen aangetoond in de afstemming van modelreacties op systeemberichten en gebruikersinstructies, zoals aangetoond bij verschillende open-source modellen op de Multifacet-benchmark, met minimale impact op andere ongeziene benchmarks zoals Open LLM Leaderboard 2. Onze kwalitatieve analyse benadrukt het belang van diverse systeemberichten om een betere aanpasbaarheid te garanderen in verschillende contexten.

English

System messages play a crucial role in interactions with large language models (LLMs), often serving as prompts to initiate conversations. Through system messages, users can assign specific roles, perform intended tasks, incorporate background information, specify various output formats and communication styles. Despite such versatility, publicly available data are often lack system messages and subject to strict license constraints in the industry field. Manual labeling of publicly available data with system messages that align with user instructions demands significant resources. In view of such challenges, our work introduces SysGen, a pipeline for generating system messages with better aligned assistant responses from the supervised fine-tuning dataset without system messages. Training on SysGen data has demonstrated substantial improvements in the alignment of model responses with system messages and user instructions, as demonstrated across various open-source models on the Multifacet benchmark, while maintaining minimal impact on other unseen benchmarks such as Open LLM Leaderboard 2. Our qualitative analysis highlights the importance of diverse system messages to ensure better adaptability across different contexts.