Regla: Un Método Agnóstico de Modelo para Controlar la Longitud Generada en Modelos de Lenguaje Grandes

Ruler: A Model-Agnostic Method to Control Generated Length for Large Language Models

September 27, 2024

Autores: Jiaming Li, Lei Zhang, Yunshui Li, Ziqiang Liu, yuelin bai, Run Luo, Longze Chen, Min Yang

cs.AI

Resumen

La capacidad de seguir instrucciones de los grandes modelos de lenguaje permite a los humanos interactuar con agentes de IA de manera natural. Sin embargo, al ser requeridos para generar respuestas de una longitud específica, a menudo los grandes modelos de lenguaje tienen dificultades para satisfacer las necesidades de los usuarios debido a su inherente dificultad para percibir con precisión las restricciones numéricas. Para explorar la capacidad de los grandes modelos de lenguaje para controlar la longitud de las respuestas generadas, proponemos la Tarea de Generación de Longitud Objetivo (TLG) y diseñamos dos métricas, Coincidencia Precisa (PM) y Coincidencia Flexible (FM) para evaluar el rendimiento del modelo en cumplir con las longitudes de respuesta especificadas. Además, presentamos un enfoque novedoso, independiente del modelo, llamado Ruler, que emplea Tokens de Longitud Meta (MLTs) para mejorar la capacidad de seguir instrucciones de los grandes modelos de lenguaje bajo instrucciones con restricciones de longitud. Específicamente, Ruler dota a los LLMs con la capacidad de generar respuestas de una longitud especificada basada en las restricciones de longitud dentro de las instrucciones. Además, Ruler puede generar automáticamente un MLT apropiado cuando las restricciones de longitud no se proporcionan explícitamente, demostrando una excelente versatilidad y generalización. Experimentos exhaustivos muestran la efectividad de Ruler en diferentes LLMs en la Tarea de Generación de Longitud Objetivo, por ejemplo, con una ganancia promedio de 27.97 en PM y 29.57 en FM. Además, realizamos extensos experimentos de ablación para corroborar aún más la eficacia y generalización de Ruler. Nuestro código y datos están disponibles en https://github.com/Geaming2002/Ruler.

English

The instruction-following ability of large language models enables humans to interact with AI agents in a natural way. However, when required to generate responses of a specific length, large language models often struggle to meet users' needs due to their inherent difficulty in accurately perceiving numerical constraints. To explore the ability of large language models to control the length of generated responses, we propose the Target Length Generation Task (TLG) and design two metrics, Precise Match (PM) and Flexible Match (FM) to evaluate the model's performance in adhering to specified response lengths. Furthermore, we introduce a novel, model-agnostic approach called Ruler, which employs Meta Length Tokens (MLTs) to enhance the instruction-following ability of large language models under length-constrained instructions. Specifically, Ruler equips LLMs with the ability to generate responses of a specified length based on length constraints within the instructions. Moreover, Ruler can automatically generate appropriate MLT when length constraints are not explicitly provided, demonstrating excellent versatility and generalization. Comprehensive experiments show the effectiveness of Ruler across different LLMs on Target Length Generation Task, e.g., at All Level 27.97 average gain on PM, 29.57 average gain on FM. In addition, we conduct extensive ablation experiments to further substantiate the efficacy and generalization of Ruler. Our code and data is available at https://github.com/Geaming2002/Ruler.