Generación de Mensajes del Sistema para Preferencias del Usuario utilizando Modelos de Código Abierto

System Message Generation for User Preferences using Open-Source Models

February 17, 2025

Autores: Minbyul Jeong, Jungho Cho, Minsoo Khang, Dawoon Jung, Teakgyu Hong

cs.AI

Resumen

Los mensajes del sistema desempeñan un papel crucial en las interacciones con los modelos de lenguaje grandes (LLMs), a menudo sirviendo como indicaciones para iniciar conversaciones. A través de los mensajes del sistema, los usuarios pueden asignar roles específicos, realizar tareas previstas, incorporar información de fondo, especificar varios formatos de salida y estilos de comunicación. A pesar de tanta versatilidad, los datos disponibles públicamente a menudo carecen de mensajes del sistema y están sujetos a estrictas restricciones de licencia en el campo de la industria. El etiquetado manual de datos disponibles públicamente con mensajes del sistema que se alineen con las instrucciones del usuario requiere de recursos significativos. Ante tales desafíos, nuestro trabajo presenta SysGen, un conjunto de herramientas para generar mensajes del sistema con respuestas de asistente mejor alineadas a partir del conjunto de datos de ajuste fino supervisado sin mensajes del sistema. El entrenamiento con los datos de SysGen ha demostrado mejoras sustanciales en la alineación de las respuestas del modelo con los mensajes del sistema y las instrucciones del usuario, como se ha demostrado en varios modelos de código abierto en el banco de pruebas Multifacet, manteniendo un impacto mínimo en otros bancos de pruebas no vistos, como Open LLM Leaderboard 2. Nuestro análisis cualitativo destaca la importancia de contar con diversos mensajes del sistema para garantizar una mejor adaptabilidad en diferentes contextos.

English

System messages play a crucial role in interactions with large language models (LLMs), often serving as prompts to initiate conversations. Through system messages, users can assign specific roles, perform intended tasks, incorporate background information, specify various output formats and communication styles. Despite such versatility, publicly available data are often lack system messages and subject to strict license constraints in the industry field. Manual labeling of publicly available data with system messages that align with user instructions demands significant resources. In view of such challenges, our work introduces SysGen, a pipeline for generating system messages with better aligned assistant responses from the supervised fine-tuning dataset without system messages. Training on SysGen data has demonstrated substantial improvements in the alignment of model responses with system messages and user instructions, as demonstrated across various open-source models on the Multifacet benchmark, while maintaining minimal impact on other unseen benchmarks such as Open LLM Leaderboard 2. Our qualitative analysis highlights the importance of diverse system messages to ensure better adaptability across different contexts.