Geração de Mensagens do Sistema para Preferências do Usuário Utilizando Modelos de Código Aberto

System Message Generation for User Preferences using Open-Source Models

February 17, 2025

Autores: Minbyul Jeong, Jungho Cho, Minsoo Khang, Dawoon Jung, Teakgyu Hong

cs.AI

Resumo

As mensagens de sistema desempenham um papel crucial nas interações com modelos de linguagem de grande escala (LLMs), frequentemente servindo como prompts para iniciar conversas. Por meio dessas mensagens, os usuários podem atribuir papéis específicos, realizar tarefas pretendidas, incorporar informações de contexto, especificar diversos formatos de saída e estilos de comunicação. Apesar dessa versatilidade, os dados publicamente disponíveis geralmente carecem de mensagens de sistema e estão sujeitos a restrições rigorosas de licenciamento no campo da indústria. A rotulagem manual de dados publicamente disponíveis com mensagens de sistema que estejam alinhadas com as instruções do usuário exige recursos significativos. Diante desses desafios, nosso trabalho introduz o SysGen, um pipeline para gerar mensagens de sistema com respostas do assistente mais alinhadas a partir de um conjunto de dados de ajuste fino supervisionado sem mensagens de sistema. O treinamento com dados do SysGen demonstrou melhorias substanciais no alinhamento das respostas do modelo com as mensagens de sistema e as instruções do usuário, conforme evidenciado em vários modelos de código aberto no benchmark Multifacet, enquanto mantém um impacto mínimo em outros benchmarks não vistos, como o Open LLM Leaderboard 2. Nossa análise qualitativa destaca a importância de mensagens de sistema diversificadas para garantir uma melhor adaptabilidade em diferentes contextos.

English

System messages play a crucial role in interactions with large language models (LLMs), often serving as prompts to initiate conversations. Through system messages, users can assign specific roles, perform intended tasks, incorporate background information, specify various output formats and communication styles. Despite such versatility, publicly available data are often lack system messages and subject to strict license constraints in the industry field. Manual labeling of publicly available data with system messages that align with user instructions demands significant resources. In view of such challenges, our work introduces SysGen, a pipeline for generating system messages with better aligned assistant responses from the supervised fine-tuning dataset without system messages. Training on SysGen data has demonstrated substantial improvements in the alignment of model responses with system messages and user instructions, as demonstrated across various open-source models on the Multifacet benchmark, while maintaining minimal impact on other unseen benchmarks such as Open LLM Leaderboard 2. Our qualitative analysis highlights the importance of diverse system messages to ensure better adaptability across different contexts.